在Hunyuan-A13B中启用慢速推理(链式推理)模式有以下几种方法:
- コードの設定
enable_thinking=True
パラメトリック - 在用户输入前添加
/think
指令前缀 - 利用する
tokenizer.apply_chat_template()
を追加する場合enable_thinking=True
オプション
慢速推理模式的优势包括:
- 更详细的推理过程:模型会输出
<think>...</think>
标签内的详细推理步骤,最后再给出<answer>...
中的最终答案 - 适合复杂任务:特别适用于需要逐步推理的数学问题、代码调试、逻辑分析等场景
- 教育价值:用户可以清晰看到问题的解决过程,便于学习理解
- エラー検出:通过观察推理过程可以更容易发现模型处理中的问题
与之相对的快速推理模式更适合日常对话和简单问答场景,能提供更快速的响应。
この答えは記事から得たものである。Hunyuan-A13B: 超長文文脈と知的推論のための効率的なオープンソース大規模言語モデルについて