Die Verarbeitung nicht-englischer Audiodateien erfordert spezielle Vorverarbeitungs- und Modellierungseinstellungen:
Mehrsprachiges Förderprogramm
- Feinabstimmung der ModelleASR: Ersetzen des Standard-ASR-Moduls durch das mehrsprachige Wav2Vec2-Modell bei Hugging Face
- PhonemausrichtungFür tonale Sprachen (z.B. Chinesisch), die Aktivierung des
use_phonemes: trueParameter - Zeichensatzkonfiguration: In config.yaml eingestellt
character_set: unicodeUnterstützung für nicht-lateinische Zeichen
Praktischer Arbeitsablauf
- 50+ Minuten Trainingsdaten in der Zielsprache vorbereiten
- in Bewegung sein
python train.py --lang=zh-CNDurchführung von Lerntransfer - Ausgabeübersetzung mit Tools wie OpenNMT (wenn englische Untertitel erforderlich sind)
sprachspezifische Techniken
- Japanisch/Koreanisch: aktiviertmorpheme_segmentationParametrische Verbesserung von Klauseln
- Arabisch: Einrichtungright_to_left: trueNeuausrichtung des Textes
- Dialektverarbeitung: Hinzufügen von lokalen Rauschproben aus 3% verbessert die Robustheit
alternativ
Wenn das Ergebnis immer noch nicht zufriedenstellend ist, können Sie Whisper verwenden, um zuerst die ersten Untertitel zu erstellen, und dann dieses Tool für die Sprecherkommentare und die Zeitstempelkalibrierung verwenden.
Diese Antwort stammt aus dem ArtikelSimple Subtitling: ein Open-Source-Tool zur automatischen Erstellung von Videountertiteln und zur Identifizierung der SprecherDie
