Programm zur Verbesserung der Datenqualität
Open-Reasoner-Zero bietet eine Komplettlösung für Datenprobleme:
- 57k hochwertiger DatensatzDer vorverarbeitete Datensatz, der mit dem Projekt geliefert wird, wurde in mehreren Stufen geprüft und enthält:
- 20k GPQA-Diamant-Standarddaten
- 15k Daten zum logischen Denken
- 22k mehrstufige Entscheidungsdaten
- Maßgeschneiderte Datenverarbeitungsprozesse: Verfügbar im Verzeichnis src/data_processing:
clean_raw_data.py- Bereinigung von Rohdatengenerate_synthetic.py- Erzeugung synthetischer Datenquality_filter.py- Qualitätsfilterung (PPL-Schwelle standardmäßig auf 2,5 eingestellt)
Erweitertes Datenprogramm
Um feldspezifische Daten hinzuzufügen:
- sich aufbauen
custom_data/Katalog zum Speichern neuer Daten - Änderungen
config.yamlDer Parameter data_mix_ratio steuert das Mischungsverhältnis der Daten in der - Es wird empfohlen, Jupyter Notebook zu verwenden, um die Datenqualität interaktiv zu überprüfen.
Diese Antwort stammt aus dem ArtikelOpen-Reasoner-Zero: Open-Source-Plattform für großangelegtes Reasoning Reinforcement Learning TrainingDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich das Problem der unzureichenden Qualität der Trainingsdaten für das Reinforcement Learning lösen?
