CanonSwapの「規範空間」は、その中核となる革新的技術であり、本質的にはビデオフレームの標準化された処理のための方法論的空間である。この技術の核となる考え方は、ディープラーニング・アルゴリズムによって顔情報を次のように切り離すことである。プロフィール歌で応える動きの特徴つの独立した次元。
具体的な実現プロセスは、3つの重要なステップで構成される:
- 空間変換モーションエクストラクタを使用して、元映像フレームの頭部ポーズや表情などの動的パラメータを分析し、すべての顔を一様に標準的な前方ポーズにマッピングする。
- 機能分離顔の同一性情報(特徴の形、肌の色など)と動作情報(まばたき、笑顔など)は、規範空間では完全に別々に保存される。
- 選択的編集: 元の動きパラメータを全く変更せずに、法線空間の外側の特徴ベクトルだけを変更する。
この技術は、従来のフェイススワップ技術が外見と動きを同時に修正しなければならないという制限を破り、最終的に生成される映像が、同一性の高い忠実性と動的歪みゼロという2つの基準を同時に満たすことを可能にする。
この答えは記事から得たものである。CanonSwap:ビデオで忠実度の高い顔の入れ替えを実現するツールについて































