言語間移行実施計画
モデルの多言語能力を拡張するためには、3つの段階で進めることができる:
- データ準備::
- パラレルコーパスの構築(中国語/英語/中国語/日本語などの組み合わせを推奨)
- ある
data/カタログmultilingual.jsonこのフィールドにはlanguage_tag
- ブレンドトレーニング::
- 元のモデル単語リストを保持し、SFTスクリプトで追加する。
--lang_loss_weight 0.3パラメトリック - バッチ内で多言語の混合サンプルを推奨(プロジェクトデータローダーでサポート)
- 元のモデル単語リストを保持し、SFTスクリプトで追加する。
- 機能テスト::
- インタラクション・テスト中に指定する
--language en言語の切り替えなどのパラメータ - BLEUなどの指標を用いた定量的評価
- インタラクション・テスト中に指定する
注:小さいサイズのモデル(1.7B)は単一言語ペアに集中することを推奨し、4B以上のモデルは多言語の共同学習を試すことができます。
この答えは記事から得たものである。Qwen3-FineTuning-Playground: Qwen3の大きなモデルを微調整するための、すぐに使えるコードベース。について































