データ品質改善プログラム
Open-Reasoner-Zeroは、データ問題に対する完全なソリューションを提供します：
- 57kの高品質データセットこのプロジェクトで提供される前処理済みのデータセットは、複数の段階を経て選別され、以下のような内容を含んでいる：
- 20k GPQAダイヤモンド・スタンダード・データ
- 15kの論理的推論データ
- 22kの多段階判定データ
- カスタマイズされたデータ処理プロセスsrc/data_processing ディレクトリで利用可能：
clean_raw_data.py- 生データのクレンジングgenerate_synthetic.py- 合成データ生成quality_filter.py- 品質フィルタリング（PPL閾値はデフォルトで2.5に設定されている）
拡張データプログラム
フィールド固有のデータを追加する：
- ビルドアップ
custom_data/新しいデータを保存するカタログ - 修正
config.yamldata_mix_ratioパラメータは、以下のデータ混合比を制御する。 - Jupyter Notebookを使ったインタラクティブなデータ品質検証のすすめ
この答えは記事から得たものである。Open-Reasoner-Zero：オープンソースの大規模推論強化学習トレーニングプラットフォームについて
無断転載を禁じます：AI生産性ツール " 強化学習における学習データの質不足の問題を解決するには？
