海外访问:www.kdjingpai.com
Ctrl + D 收藏本站
当前位置:首页 » AI答疑

Bonsai是首批达到竞争水平的轻量三值权重语言模型

2025-08-28 1.2 K

Bonsai是由deepgrove-ai开发的开源三值权重语言模型,参数规模为5亿。它基于Llama架构和Mistral分词器设计,线性层经过特殊调整以支持三值权重技术。尽管仅使用DCLM-Pro和Fineweb-Edu数据集进行训练,总训练Token不到50亿,但Bonsai在多项基准测试中表现出色。

性能数据显示,Bonsai在ARC-c(33.36分)、ARC-e(57.95分)、PiQA(70.24分)等测试中,与MobiLlama 0.5B、Qwen 0.5B等同类模型相比具有明显优势。特别是其46.96的平均分,在轻量级模型中名列前茅。三值权重技术的应用使模型在保持高性能的同时大幅降低了计算资源需求,使其成为首批具有实际应用价值的高效轻量模型之一。

相关推荐

找不到AI工具?在这试试!

输入关键词,即可 无障碍访问 必应 搜索,快速找到本站所有 AI 工具。

回顶部

zh_CN简体中文