静的表現から動的表現への再構築
CanonSwapのフェイシャルアニメーションシステムは、基本的な顔入れ替え機能に加え、静止画を生き生きとしたダイナミックな表情に変換します。この機能は、参考動画から表情筋群の運動パターンを抽出し、対象顔に高精度にマッピングする独自の運動情報処理アーキテクチャに基づいています。
技術的な実装としては、まず、3D変形モデルによってソース映像内の104点の顔の特徴点の動きの軌跡を解決し、次に、非剛体変換を使用してこれらの動きパターンをターゲット顔に転送する。テストによると、20年前の古い写真でも、この技術によって現代の4K動画と完全に一致する表情アニメーションを生成することができ、口の同期の精度は97%以上に達する。この画期的な機能は、デジタル遺産の保存やバーチャルアシスタント開発などのアプリケーションに新たな可能性をもたらす。
この答えは記事から得たものである。CanonSwap:ビデオで忠実度の高い顔の入れ替えを実現するツールについて