MM-EUREKA setzt einen neuen technologischen Maßstab für die Effizienz der Nutzung von Trainingsdaten. Experimentelle Daten zeigen, dass die Version mit 8B-Parametern nur 8K Grafikpaare an Trainingsdaten benötigt, und die Version mit 38B-Parametern kann herkömmliche multimodale Modelle übertreffen, die nach der Verwendung von 54K-Daten Millionen von Trainingsdaten benötigen.
Diese Effizienz beruht auf drei Aspekten: Erstens verbessert der regelbasierte Ansatz des Verstärkungslernens die Datennutzung drastisch, zweitens die innovative Modellarchitektur und drittens der optimierte Trainingsprozess. Der MM-Eureka-Datensatz, den das Projektteam auf GitHub veröffentlicht hat, enthält streng geprüfte, qualitativ hochwertige Trainingsbeispiele, und jedes Datenpaar wurde von Experten beschriftet und in mehreren Runden überprüft.
Durch die hohe Dateneffizienz eignet sich MM-EUREKA besonders für Forschungsinstitute und kleine Entwicklungsteams mit begrenzter Rechenleistung, die mit begrenzten Ressourcen die modernste Modellleistung reproduzieren können.
Diese Antwort stammt aus dem ArtikelMM-EUREKA: Ein multimodales Reinforcement Learning Tool zur Erforschung des visuellen DenkensDie
