如何避免Qwen3微调过程中出现的过拟合问题？

2025-08-28

过拟合防治综合方案

针对大模型微调特有的过拟合现象，推荐采用以下组合策略：

data enhancement：在准备.json数据集时，通过同义词替换、句式改写等方式扩充数据多样性，项目内的数据加载器支持自动洗牌
正则化配置：在训练脚本中添加关键参数：
- --weight_decay 0.01 控制参数更新幅度
- --dropout 0.1 随机屏蔽神经元
早停机制：监控验证集loss，当连续3轮无改进时自动停止（脚本内置EarlyStopping回调）
Courses of Study：分阶段调整学习率，初始用--lr 5e-5，后期降至1e-6

进阶方案可尝试项目提供的知识蒸馏功能，用教师模型的输出分布约束学生模型。