Os pesos ternários (pesos ternários) usados no modelo de linguagem Bonsai são uma técnica inovadora de compactação de modelos que se concentra na simplificação dos parâmetros de peso de ponto flutuante de 32 ou 16 bits nas redes neurais tradicionais para apenas três estados numéricos (por exemplo, -1, 0, +1). Essa técnica alcança alto desempenho por meio do seguinte mecanismo:
- Otimização de armazenamentoApenas 2 bits de espaço de armazenamento são necessários para cada peso, resultando em uma redução significativa no tamanho de um modelo de 500 milhões de parâmetros.
- aceleração da computaçãoAritmética de valor triplo: a aritmética de valor triplo reduz a multiplicação complexa a uma operação de acumulação, resultando em aumentos significativos de velocidade em dispositivos de borda, como CPUs.
- Retenção de precisãoAlgoritmo de compensação de gradiente: o algoritmo de compensação de gradiente é usado durante o treinamento e executado com precisão de 16 bits na fase de inferência, equilibrando eficiência e precisão.
Em comparação com outros métodos de quantificação, a técnica de valor triplo é a primeira de seu tipo a atingir um nível comercialmente competitivo para modelos leves, especialmente em benchmarks como ARC e MMLU, em que seu desempenho supera até mesmo alguns dos modelos tradicionais de ponto flutuante.
Essa resposta foi extraída do artigoBonsai: um modelo de linguagem ponderada de três valores adequado para operação em dispositivos de bordaO
