领域定制需完成以下四阶段操作:
- データ準備段階::
- 收集专业数据并整理为
lora_medical.jsonl
フォーマッティング - 建议保持512 token长度以适配模型架构
- 收集专业数据并整理为
- 参数配置阶段::
- 修正
./model/LMConfig.py
正鵠を得るn_layers
等参数 - アダプト
batch_size
避免显存溢出(3090建议≤8)
- 修正
- モデルのトレーニング段階::
- はこびだす
python train_lora.py
启动领域适应训练 - 増加
--use_wandb
参数监控损失曲线
- はこびだす
- 部署应用阶段::
- 利用する
serve_openai_api.py
サービス開始 - とおす
curl
命令测试医疗问答接口
- 利用する
注意:专业领域训练建议先进行基础预训练(2-3轮)再进行LoRA微调。
この答えは記事から得たものである。MiniMind:ゼロから2時間のトレーニング 26MパラメータGPTオープンソースツールについて