当前位置：首页 » AI答疑

dots.llm1是小红书开源的首个采用混合专家架构的大语言模型

2025-08-20

209

dots.llm1的MoE架构特点与开源意义

dots.llm1作为小红书首个开源大语言模型，其核心创新在于采用混合专家(MoE)架构设计。该架构包含128个路由专家和2个共享专家，每输入标记动态选择6个路由专家和2个共享专家共同处理。这种设计使得模型在保持1420亿总参数规模的同时，推理时仅激活140亿参数，将计算成本降低80%以上。

开源策略使dots.llm1成为首个来自中国社交平台的可商用MoE模型，填补了中文MoE大模型的开源空白。