ドメインのカスタマイズには、以下の4段階の作業を完了する必要がある:
- データ準備段階::
- 専門的なデータを収集し、それを
lora_medical.jsonlフォーマッティング - モデル・アーキテクチャに合わせて、トークン長を512に維持することを推奨する。
- 専門的なデータを収集し、それを
- パラメータ設定段階::
- 修正
./model/LMConfig.py正鵠を得るn_layersおよびその他のパラメータ - アダプト
batch_sizeビデオメモリのオーバーフローを避ける(3090推奨≦8)
- 修正
- モデルのトレーニング段階::
- はこびだす
python train_lora.py現場でのハビリテーションを開始する - 増加
--use_wandbパラメータ・モニタリング損失曲線
- はこびだす
- 配備申請段階::
- 利用する
serve_openai_api.pyサービス開始 - とおす
curlコマンドテスト医療Q&Aインターフェース
- 利用する
注:プロのフィールド・トレーニングでは、LoRA微調整前の基本的な事前トレーニング(2~3ラウンド)を推奨。
この答えは記事から得たものである。MiniMind:ゼロから2時間のトレーニング 26MパラメータGPTオープンソースツールについて































