当前位置：首页 » AI答疑

Light-R1通过课程式监督微调和直接偏好优化实现数学推理能力突破

2025-08-30

1.1 K

Light-R1采用两阶段课程式监督微调(SFT)配合直接偏好优化(DPO)的创新训练范式。第一阶段使用76k基础数学数据集进行通用能力培养，耗时约3小时；第二阶段采用3k高难度题目集进行专项强化。DPO阶段则通过对比学习优化模型输出质量，重点提升复杂问题的分步推理能力。

独特的是，该训练流程引入数据去污染技术，确保AIME24/25和MATH-500等评测基准的公平性。模型最终通过参数融合技术整合SFT和DPO阶段的训练成果。实践表明，该方法仅需12台H800服务器即可完成全流程训练，将传统数学推理模型的训练成本降低两个数量级，同时保持76.6的AIME24顶尖分数，验证了该方法的效能优势。

本答案来源于文章《Light-R1：360开源的数学领域超强推理模型》

未经允许不得转载：AI生产力工具 » Light-R1通过课程式监督微调和直接偏好优化实现数学推理能力突破

Light-R1通过课程式监督微调和直接偏好优化实现数学推理能力突破

相关文章

相关推荐

找不到AI工具？在这试试！

热门AI工具

最新发布

最新AI工具

Light-R1通过课程式监督微调和直接偏好优化实现数学推理能力突破

相关文章

相关推荐

找不到AI工具？在这试试！

热门AI工具

最新发布

最新AI工具

快速查询站内AI工具