O Bonsai é um modelo de linguagem ponderada de valor triplo de código aberto desenvolvido pela deepgrove-ai com um tamanho de parâmetro de 500 milhões. Ele foi projetado com base na arquitetura Llama e no classificador Mistral, com a camada linear especialmente adaptada para suportar a técnica de ponderação de três valores. Apesar de ter sido treinado usando apenas os conjuntos de dados DCLM-Pro e Fineweb-Edu, com menos de 5 bilhões de tokens de treinamento no total, o Bonsai tem um bom desempenho em vários testes de referência.
Os dados de desempenho mostram que o Bonsai tem uma clara vantagem sobre modelos semelhantes, como o MobiLlama 0.5B e o Qwen 0.5B, em testes como o ARC-c (33,36 pontos), ARC-e (57,95 pontos) e PiQA (70,24 pontos). Em particular, sua pontuação média de 46,96 está entre as mais altas entre os modelos leves. A aplicação da técnica de ponderação de três valores permite que o modelo mantenha o alto desempenho e, ao mesmo tempo, reduza significativamente os requisitos de recursos computacionais, tornando-o um dos primeiros modelos leves eficientes com aplicações práticas.
Essa resposta foi extraída do artigoBonsai: um modelo de linguagem ponderada de três valores adequado para operação em dispositivos de bordaO
