Die Kerninnovation von CanonSwap ist der "normative Raum", bei dem es sich im Wesentlichen um einen methodischen Raum für die standardisierte Verarbeitung von Videobildern handelt. Die Kernidee der Technologie ist die Entkopplung der Gesichtsinformationen durch Deep-Learning-Algorithmen inProfilim Gesang antwortenMerkmale der BewegungZwei unabhängige Dimensionen.
Der konkrete Realisierungsprozess besteht aus drei wesentlichen Schritten:
- RaumtransformationBewegungsextraktion: Analyse der dynamischen Parameter wie Kopfhaltung und Gesichtsausdruck der ursprünglichen Videobilder und einheitliche Zuordnung aller Gesichter zur Standardvorwärtshaltung
- MerkmalstrennungGesichtsidentitätsinformationen (z. B. Form der Gesichtszüge, Hautfarbe usw.) und Bewegungsinformationen (z. B. Blinzeln, Lächeln usw.) werden völlig getrennt im normativen Raum gespeichert
- Selektive BearbeitungModifizieren Sie nur die äußeren Merkmalsvektoren im normativen Raum, wobei die ursprünglichen Bewegungsparameter absolut unverändert bleiben.
Diese Technologie durchbricht die Beschränkung, dass herkömmliche Face-Swapping-Techniken das Aussehen und die Bewegung gleichzeitig ändern müssen, und ermöglicht es, dass das endgültig erzeugte Video gleichzeitig die beiden Standards der hohen Identitätstreue und der Null-Dynamik-Verzerrung erfüllt.
Diese Antwort stammt aus dem ArtikelCanonSwap: Ein Tool für originalgetreues Face-Swapping in VideosDie
