dots.llm1をテキスト生成や対話タスクに使うには？

2025-08-20

222

テキスト生成ステップ

dots.llm1は、記事の続きのようなタスクのために首尾一貫したテキストを生成するのが得意だ：

適切なプロンプトエンジニアリングにより、このモデルは高品質の対話機能を実現する：

サンプルコード：
messages = [{'role': 'user', 'content': 'コアとなるMoEのアーキテクチャ原則を説明する。原則を説明する。］
input_tensor = tokeniser.apply_chat_template(messages, add_generation_prompt=True, return_tensors='pt')
outputs = model.generate(input_tensor.to(model.device), max_new_tokens=200)
result = tokenizer.decode(outputs[0][input_tensor.shape[1]:], skip_special_tokens=True)
温度パラメーターは、反応の創造性をコントロールするために調整することができる。
中国語のダイアログでは、特定のプロンプト・テンプレートが推奨されます。

複雑な複数ラウンドの対話シナリオは、32kの超長コンテキストを利用することで処理できる。専門的な分野での対話では、関連する知識をコンテキストのプリカーサとして最初に提供することが推奨される。