Risiko der Überanpassung
Bei der Feinabstimmung auf kleinen Datensätzen neigt das Modell dazu, sich an Trainingsmuster zu erinnern, anstatt allgemeine Muster zu lernen.
Schutzmaßnahme
- Verwendung der in Unsloth integrierten RegularisierungstechnikenTrainingArguments: Konfigurieren Sie weight_decay=0.01 in TrainingArguments.
- Richtiges Einrichten des FrühstoppsMonitor Validierungsverlust, um das Training automatisch zu beenden
- DatenerweiterungReorganisation von Absätzen durch Langtextverarbeitung mit Unterstützung von Unsloth
Tuning-Empfehlungen
- Beginnen Sie den Versuch mit 3-5 Epochen und erhöhen Sie allmählich die Anzahl der
- Gemittelt über mehrere Trainingssitzungen unter Verwendung verschiedener zufälliger Seeds
- Abschließende vollständige Bewertung durch Hugging Face Evaluate
Diese Antwort stammt aus dem ArtikelUnsloth: ein Open-Source-Tool für die effiziente Feinabstimmung und das Training großer SprachmodelleDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lassen sich Probleme der Überanpassung bei der Feinabstimmung großer Sprachmodelle vermeiden?
