dots.llm1简介
dots.llm1是小红书开源的首个大语言模型,采用了混合专家(MoE)架构。这个模型托管在Hugging Face平台上,由rednote-hilab团队开发。
核心特点
- 参数规模:拥有1420亿参数,但在推理时仅激活140亿参数,大大降低了计算成本
- 训练数据:使用11.2万亿非合成高质量语料训练,保证了输出质量
- 性能表现:在中文测试中平均得分91.3,超越了多个主流开源模型
- 上下文支持:支持32,768令牌的超长上下文处理能力
- 部署灵活性:提供多种部署方式,包括Docker和vLLM
适用场景
dots.llm1特别适合文本生成、对话系统、内容创作等任务,同时在中文处理方面表现出色。
本答案来源于文章《dots.llm1:小红书开源的首个MoE大语言模型》