Hunyuan-A13B是由腾讯混元团队开发的一款开源大语言模型,基于混合专家(MoE)架构设计。该模型总参数量高达80亿,但仅激活13亿参数,这种设计使其兼具高性能和低计算成本的特点。
Key features and benefits include:
- ultra-long context processing:支持高达256K的上下文长度,能够处理长篇文档、复杂对话和多轮推理任务
- 双模推理能力:提供快速推理和慢速推理(链式推理)两种模式,满足不同场景需求
- 高效架构设计:MoE架构使得80亿参数模型只需计算13亿活跃参数,大大降低资源消耗
- Multiple quantitative support:提供FP8和GPTQ-Int4等量化版本,适合不同硬件环境部署
- Multi-disciplinary capacity:在数学、科学、代码生成和智能代理任务中表现出色
This answer comes from the articleHunyuan-A13B: Efficient Open Source Large Language Modeling with Ultra-Long Context and Intelligent Reasoning SupportThe