领域定制需完成以下四阶段操作:
- Phase der Datenaufbereitung::
- 收集专业数据并整理为
lora_medical.jsonl
Formatierung - 建议保持512 token长度以适配模型架构
- 收集专业数据并整理为
- 参数配置阶段::
- Änderungen
./model/LMConfig.py
den Nagel auf den Kopf treffenn_layers
等参数 - anpassen
batch_size
避免显存溢出(3090建议≤8)
- Änderungen
- Phase der Modellschulung::
- vollziehen
python train_lora.py
启动领域适应训练 - erhöhen.
--use_wandb
参数监控损失曲线
- vollziehen
- 部署应用阶段::
- ausnutzen
serve_openai_api.py
Neue Dienste - passieren (eine Rechnung oder Inspektion etc.)
curl
命令测试医疗问答接口
- ausnutzen
注意:专业领域训练建议先进行基础预训练(2-3轮)再进行LoRA微调。
Diese Antwort stammt aus dem ArtikelMiniMind: 2 Stunden Training von Grund auf 26M Parameter GPT Open Source ToolDie