Qwen3-8B-BitNetには2つの特徴的な推論モードがあります:
- 思考パターン(enable_thinking=True):複雑な論理タスクに適しており、詳細な推論プロセスを生成します。例えば、数式を扱う場合、解答のステップがステップごとに表示されます。
- 合意形成(enable_thinking=False):応答時間が短縮され、簡単なQ&Aや日常会話に適しています。
モード切り替え方式:
この切り替えは、apply_chat_template関数を呼び出す際にenable_thinkingパラメータを設定することで行います。典型的なコード例
# 启用思考模式
text = tokenizer.apply_chat_template(messages,
tokenize=False,
enable_thinking=True)
# 禁用思考模式
text = tokenizer.apply_chat_template(messages,
tokenize=False,
enable_thinking=False)
実際には、段階的な分析が必要なタスクには思考モードを有効にし、時間に制約のある単純なタスクには非思考モードを使用することが推奨される。
この答えは記事から得たものである。Qwen3-8B-BitNet:効率的な圧縮のためのオープンソース言語モデルについて