领域定制需完成以下四阶段操作:
- 数据准备阶段:
- 收集专业数据并整理为
lora_medical.jsonl
格式 - 建议保持512 token长度以适配模型架构
- 收集专业数据并整理为
- 参数配置阶段:
- 修改
./model/LMConfig.py
中的n_layers
等参数 - 调整
batch_size
避免显存溢出(3090建议≤8)
- 修改
- 模型训练阶段:
- 执行
python train_lora.py
启动领域适应训练 - 添加
--use_wandb
参数监控损失曲线
- 执行
- 部署应用阶段:
- 使用
serve_openai_api.py
启动服务 - 通过
curl
命令测试医疗问答接口
- 使用
注意:专业领域训练建议先进行基础预训练(2-3轮)再进行LoRA微调。
本答案来源于文章《MiniMind:2小时从零训练26M参数GPT的开源工具》