Von der statischen zur dynamischen Ausdrucksrekonstruktion
Zusätzlich zur grundlegenden Face-Swap-Funktion verwandelt das Facial Animation System von CanonSwap Standfotos in lebendige, dynamische Gesichtsausdrücke. Diese Funktion basiert auf der einzigartigen Architektur zur Verarbeitung von Bewegungsinformationen, die Bewegungsmuster von Ausdrucksmuskelgruppen aus Referenzvideos extrahiert und sie mit hoher Präzision auf das Zielgesicht überträgt.
Was die technische Umsetzung betrifft, so löst das System zunächst die Bewegungsbahnen von 104 Gesichtsmerkmalen im Ausgangsvideo durch 3D-Verformungsmodelle auf und überträgt dann diese Bewegungsmuster durch nicht starre Transformation auf das Zielgesicht. Tests haben gezeigt, dass mit dieser Technologie sogar alte Fotos von vor 20 Jahren verwendet werden können, um Mimikanimationen zu erzeugen, die perfekt mit aktuellen 4K-Videos übereinstimmen, und die Genauigkeit der Mundsynchronisation kann mehr als 97% erreichen. Diese bahnbrechende Funktion eröffnet neue Möglichkeiten für Anwendungen wie die Erhaltung des digitalen Erbes und die Entwicklung virtueller Assistenten.
Diese Antwort stammt aus dem ArtikelCanonSwap: Ein Tool für originalgetreues Face-Swapping in VideosDie
