Kleine Datenmodellierungslösungen
Wenn die Trainingsdaten weniger als 2000 betragen, können die folgenden Methoden verwendet werden, um den Effekt zu verstärken:
- DatenerweiterungGPT-4: Verwenden Sie GPT-4, um semantisch ähnliche erweiterte Dialoge zu erzeugen, wobei Sie darauf achten, den ursprünglichen Sprachstil beizubehalten. Empfohlenes Aufforderungsformat: "Bitte schreiben Sie den folgenden Dialog im Stil von [Benutzername] um: ..."
- Transfer-LernenLaden Sie öffentliche Dialogdaten wie Zhihu und Weibo für das Vortraining, bevor Sie die persönlichen Daten feinabstimmen. Ändern Sie die settings.json in der
pretrained_pathParameter - Regularisierungstechnikdropout_rate=0.3 und frühzeitiges Anhalten aktivieren (Geduldswert auf 5 Epochen eingestellt)
Weitere Vorschläge: 1) K-fache Kreuzvalidierung verwenden 2) LoRA-Rang ≤ 16 begrenzen 3) Label-Glättung hinzufügen (Glättung=0,1). Nach dem Training sollten Sie Folgendes verwendenweb_demo.py --test_mode=trueErkennung von Überanpassungen durchführen
Diese Antwort stammt aus dem ArtikelWeClone: Ausbildung von digitalen Doppelgängern mit WeChat-Chat-Protokollen und StimmenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich das Problem der Überanpassung des Modells aufgrund kleiner Chatprotokolle lösen?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil