过拟合风险
在小数据集微调时,模型容易记住训练样本而非学习通用模式。
protective measure
- 使用Unsloth内置的正则化技术:在TrainingArguments中配置weight_decay=0.01
- 合理设置early stopping:监控验证集loss自动停止训练
- data enhancement:利用Unsloth支持的长文本处理进行段落重组
Tuning Recommendations
- 从3-5个epoch开始尝试,逐步增加
- 使用不同随机种子多次训练取平均
- 最后通过Hugging Face Evaluate全面评估
This answer comes from the articleUnsloth: an open source tool for efficiently fine-tuning and training large language modelsThe