チャットのログが少ないことによるモデルのオーバーフィッティングの問題を克服するには？

2025-08-25

1.4 K

小規模データモデリング・ソリューション

トレーニングデータが2000に満たない場合は、以下の方法で効果を高めることができる：

データ強化: GPT-4を使って、元の言語スタイルを維持しながら、意味的に類似した拡張ダイアログを生成してください。推奨されるプロンプトの形式: "次のダイアログを[ユーザー名]のスタイルで書き直してください: ..."
伝達学習: 個人データを微調整する前に、ZhihuやWeiboなどの公開対話データを読み込んで事前学習を行う。のsettings.jsonを修正する。pretrained_pathパラメトリック
せいそくかほう: dropout_rate=0.3に設定し、早期停止を有効にする（忍耐値を5エポックに設定）。

追加提案： 1) K-foldクロスバリデーションを使用する 2) LoRAランクを16以下に制限する 3) ラベルスムージングを追加する (smoothing=0.1).学習後は必ずweb_demo.py --test_mode=trueオーバーフィットの検出