Die Feinabstimmung der Bereichsanpassung erfordert ein systematisches Programm:
- Vorbereitung der Daten::
Sammeln Sie mindestens 50 Stunden Audiomaterial im Zielbereich (z. B. Medizin), der Text muss die Standardschreibweise der Begriffe enthalten, empfohlenes Format:uttID /path/to/audio.wav|医生诊断:患者患有
- Parameter Konfiguration::
1. inconfig.yaml
aufstellenadapt_dropout: 0.3
2 Anpassungentransformer_encoder_layers: 12
Beibehaltung der Grundfähigkeiten - Trainingstechnik::
Es wird ein zweistufiges Training durchgeführt:
1. nur die letzten 3 Schichten wurden in den ersten 5 Runden feinabgestimmt (freeze_layers: 0-9
)
2. die letzten 10 Runden des Vollparametertrainings (lr: 0.0001
) - Validierungsmethoden::
ausnutzenespnet2/bin/validate.py
Testterm-Erkennung F1-Wert, empfohlener Schwellenwert > 0,85
Die Lösung verbessert die Erkennungsgenauigkeit von Begriffen in juristischen Dokumenten um 62%.
Diese Antwort stammt aus dem ArtikelOpusLM_7B_Anneal: ein effizientes einheitliches Modell für Spracherkennung und -syntheseDie