Die Lippensynchronisations-Engine von Pollo AI verwendet ein bidirektionales neuronales LSTM-Netzwerk, um eine genaue Lippensynchronisation auf 5ms-Ebene zu erreichen, indem sie die Zuordnungsbeziehung zwischen Audiospektralmerkmalen und 52 Muskelbewegungspunkten im Gesicht analysiert. Tests zeigen, dass die Synchronisationsgenauigkeit für englische Inhalte 98% und für Chinesisch und andere tonale Sprachen 92% beträgt, was weit über dem Industrieniveau von 70% für traditionelle Keyframe-Animation liegt. Die Benutzer brauchen nur Video- und Audiodateien hochzuladen, und das System kann die Erzeugung von Video-Lippenbewegungen auf Minutenebene in 23 Sekunden abschließen und unterstützt das intelligente Umschalten von mehrsprachigen gemischten Inhalten. Die Technologie wurde im Bereich der Online-Bildung eingesetzt, um Lehrern zu helfen, schnell mehrsprachige Lehrvideos zu erstellen; bei der Produktion von NPC-Animationen für Spiele kann sie die Effizienz der Synchronisation um das Zehnfache steigern.
Diese Antwort stammt aus dem ArtikelPollo AI: KI-Tool, das mehrere Modelle zur Erstellung von Videos und Bildern integriertDie
