Hunyuan-A13B：高效开源大语言模型，支持超长上下文和智能推理

Hunyuan-A13B 是由腾讯混元团队开发的一款开源大语言模型，基于混合专家（MoE）架构设计。模型总参数量达 80 亿，其中 13 亿为活跃参数，兼顾高性能与低计算成本。Hunyuan-A13B 支持 256K 超长上下文处理，适用于复杂任务如长文本分析、代码生成和智能代理操作。模型提供快速和慢速推理两种模式，用户可根据需求灵活切换。腾讯混元团队于 2025 年 6 月 27 日在 GitHub 和 Hugging Face 平台开源了多个版本，包括预训练模型、指令微调模型以及优化后的量化模型，方便开发者在不同硬件环境下部署。官方还提供详细的技术报告和操作手册，助力用户快速上手。

機能一覧

• 非常に長いコンテキスト処理：支持高达 256K 上下文长度，适合处理长文档、复杂对话和多轮推理任务。
• 双模推理：提供快速推理和慢速推理（链式推理，CoT）模式，满足不同场景的性能需求。
• 効率的なMoEアーキテクチャ：80 亿总参数，13 亿活跃参数，降低计算资源需求，适合低配硬件运行。
• 多种量化支持：提供 FP8 和 GPTQ-Int4 量化版本，优化推理效率，降低部署门槛。
• 多领域能力：在数学、科学、代码生成和智能代理任务中表现出色，基准测试成绩优异。
• オープンソースリソース：提供模型权重、训练代码、技术报告和操作手册，支持开发者定制和扩展。

ヘルプの使用

設置プロセス

要使用 Hunyuan-A13B，需准备 Python 3.10 及以上环境，推荐使用 GPU（如 NVIDIA A100）以获得最佳性能。以下是安装和部署步骤：

1. クローン倉庫
   ターミナルで以下のコマンドを実行し、GitHubリポジトリをクローンする：

   git clone https://github.com/Tencent-Hunyuan/Hunyuan-A13B.git
   cd Hunyuan-A13B
   

2. 依存関係のインストール
   安装必要的 Python 库，确保环境支持 PyTorch 和 Hugging Face 的 transformers 库：

   pip install torch==2.5.1 transformers
   pip install -r requirements.txt
   

3. ダウンロードモデル
   Hunyuan-A13B 模型已在 Hugging Face 平台提供多种版本，包括 Hunyuan-A13B-PretrainそしてHunyuan-A13B-InstructそしてHunyuan-A13B-Instruct-FP8 歌で応える Hunyuan-A13B-Instruct-GPTQ-Int4。以指令微调模型为例，下载命令如下：

   huggingface-cli download tencent/Hunyuan-A13B-Instruct
   

4. 環境変数の設定
   将模型路径配置到环境变量中：

   export MODEL_PATH="tencent/Hunyuan-A13B-Instruct"
   

5. 运行示例代码
   使用以下 Python 代码加载模型并进行推理：

   from transformers import AutoModelForCausalLM, AutoTokenizer
   import os
   import re
   model_name_or_path = os.environ['MODEL_PATH']
   tokenizer = AutoTokenizer.from_pretrained(model_name_or_path, trust_remote_code=True)
   model = AutoModelForCausalLM.from_pretrained(model_name_or_path, device_map="auto", trust_remote_code=True)
   messages = [{"role": "user", "content": "写一篇关于定期锻炼好处的简短总结"}]
   tokenized_chat = tokenizer.apply_chat_template(messages, tokenize=True, return_tensors="pt", enable_thinking=True)
   outputs = model.generate(tokenized_chat.to(model.device), max_new_tokens=4096)
   output_text = tokenizer.decode(outputs[0])
   think_pattern = r'<think>(.*?)</think>'
   answer_pattern = r'<answer>(.*?)</answer>'
   think_matches = re.findall(think_pattern, output_text, re.DOTALL)
   answer_matches = re.findall(answer_pattern, output_text, re.DOTALL)
   think_content = think_matches[0].strip() if think_matches else ""
   answer_content = answer_matches[0].strip() if answer_matches else ""
   print(f"推理过程: {think_content}\n\n回答: {answer_content}")
   

機能 操作の流れ

1. 超长上下文处理

Hunyuan-A13B 支持 256K 上下文长度，适合处理长篇文档或多轮对话。用户可通过设置 max_seq_length=256000 来启用超长上下文模式。例如，分析长篇技术文档时，直接将文档内容输入模型，模型会完整处理并生成总结或回答。

2. 双模推理

模型支持快速推理和慢速推理（链式推理，CoT）。快速推理适合实时对话，慢速推理适合复杂任务如数学推理或代码调试。用户可通过参数控制推理模式：

• 启用慢速推理：设置 enable_thinking=True 或在提示前添加 /think.
• 禁用慢速推理：设置 enable_thinking=False 或在提示前添加 /no_think.
  例

tokenized_chat = tokenizer.apply_chat_template(messages, enable_thinking=False)

3. 部署量化模型

为降低硬件要求，Hunyuan-A13B 提供 FP8 和 GPTQ-Int4 量化版本。FP8 量化通过静态校准将模型权重和激活值转换为 8 位浮点格式，适合中低端 GPU。GPTQ-Int4 使用 4 位整数量化，进一步减少内存占用。用户可直接下载量化模型：

huggingface-cli download tencent/Hunyuan-A13B-Instruct-FP8

部署时，确保硬件支持 FP8 或 INT4 运算，推荐使用 TensorRT-LLM 后端以提升推理速度。

4. 多领域任务

Hunyuan-A13B 在数学、科学、代码生成和智能代理任务中表现优异。例如，处理数学问题时，模型会自动拆解问题并逐步推理：

messages = [{"role": "user", "content": "求解方程 2x + 3 = 7"}]

输出将包含推理过程 <think> 和最终答案 <answer>，确保结果清晰易懂。

5. 开发者自定义

用户可基于开源代码进行模型微调。官方提供训练手册，详细说明数据准备、训练参数和优化策略。微调示例：

python train.py --model_path tencent/Hunyuan-A13B-Pretrain --data_path custom_dataset

ほら

• 确保 GPU 内存充足（推荐 16GB 以上）。
• 检查 Hugging Face 平台上的模型版本，确保下载最新版本。
• 参考官方技术报告以了解模型在特定任务上的性能。

アプリケーションシナリオ

1. 学術研究
   研究人员可利用 Hunyuan-A13B 处理长篇学术论文，提取关键信息或生成综述。模型的 256K 上下文长度能完整分析多页文档，适合文献整理和知识提取。
2. コード開発
   开发者可使用模型生成代码、调试程序或优化算法。Hunyuan-A13B 在代码生成任务中表现出色，支持多种编程语言，适合快速原型开发。
3. インテリジェント・エージェント
   模型可作为智能代理的核心，处理复杂任务如自动化客服、数据分析或任务调度。其高效 MoE 架构确保低资源占用，适合实时应用。
4. 教材
   学生和教师可利用模型解答数学、科学问题或生成学习材料。慢速推理模式能提供详细的解题步骤，帮助用户理解。

品質保証

1. Hunyuan-A13B 适合哪些硬件？
   模型支持多种硬件环境，推荐 NVIDIA A100 或同等性能 GPU。量化版本可在低配 GPU（如 10GB VRAM）上运行，适合个人开发者。
2. 如何切换推理模式？
   を設定する。 enable_thinking=True/False 或在提示中添加 /think もしかしたら /no_think 切换快速或慢速推理模式。
3. 模型支持哪些语言？
   Hunyuan-A13B 主要优化中文和英文任务，但在多语言基准测试中也有良好表现，适合多语言场景。
4. テクニカル・サポートはどうすれば受けられますか？
   可通过 GitHub 提交问题或联系官方邮箱 hunyuan_opensource@tencent.com サポートを受ける