怎样解决强化学习训练数据质量不足的问题？

2025-09-05

1.3 K

数据质量提升方案

Open-Reasoner-Zero 针对数据问题提供了完整的解决方案：

57k高质量数据集：项目自带的预处理数据集已通过多阶段筛选，包含：
- 20k条GPQA Diamond标准数据
- 15k条逻辑推理数据
- 22k条多步决策数据
自定义数据处理流程：在src/data_processing目录下提供：
1. clean_raw_data.py – 原始数据清洗
2. generate_synthetic.py - 合成データ生成
3. quality_filter.py – 质量过滤(PPL阈值默认设为2.5)

若要添加领域特定数据：