LatentSync bietet eine spezielle Datenvorverarbeitungspipeline, um sicherzustellen, dass das Eingangsvideo die Anforderungen des Modells erfüllt. Diese Datenverarbeitungspipeline verwendet einen mehrstufigen Qualitätsprüfungsmechanismus:
- Szenensegmentierung mit PySceneDetect, wobei 5-10 Sekunden gültiger Segmente erhalten bleiben
- Erkennen und Ausrichten von Gesichtsregionen mit Hilfe der Gesichtsausrichtungsbibliothek, einheitliche Anpassung an die Auflösung 256×256
- Berechnung von Audio- und Videosynchronisationswerten auf der Grundlage von SyncNet und Filtern von Proben mit Werten unter 3
- Verwenden Sie hyperIQA, um die visuelle Qualität zu bewerten und minderwertige Inhalte mit einer Punktzahl unter 40 zu entfernen.
Dieses Verfahren stellt nicht nur die Qualität der Trainingsdaten sicher, sondern bietet auch eine Standardreferenz für die Vorverarbeitung der Eingaben in der Inferenzphase. Es wird offiziell empfohlen, dass die Benutzer die benutzerdefinierten Daten vor der Verwendung nach demselben Standard verarbeiten, da dies der Schlüssel zum Erreichen der gewünschten Ergebnisse ist.
Diese Antwort stammt aus dem ArtikelLatentSync: ein Open-Source-Tool zur Erzeugung von lippensynchronem Video direkt aus AudioDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Die Datenverarbeitungspipeline von LatentSync umfasst ein vollständiges Qualitätsbewertungssystem.
Deutsch 
简体中文 
English 
日本語 
Português do Brasil