Bonsai在轻量级语言模型中显现出三大差异化优势:
Vantagens da arquitetura técnica
- 三值压缩比:模型体积仅为同等参数规模模型的1/5-1/8
- Llama-Mistral混合架构:结合Llama的结构稳定性和Mistral分词器的高效性
desempenho
在官方基准测试中:
- 以46.96平均分超越MobiLlama 0.5B(44.25)和Qwen 0.5B(45.61)
- ARC-c(33.36)和PiQA(70.24)等常识推理任务表现突出
应用特性
- 边缘兼容性:在树莓派4B上的推理速度可达18 tokens/秒
- 数据效率:仅用5B token训练数据即达到SOTA水平
- 开源友好:提供完整的模型压缩训练代码,支持二次开发
这些特性使其成为目前最适合嵌入式部署的开源语言模型之一。
Essa resposta foi extraída do artigoBonsai: um modelo de linguagem ponderada de três valores adequado para operação em dispositivos de bordaO