PIM(Partial Identity Modulation)はCanonSwapの正確な顔面置換のための「メス」であり、その作業メカニズムは3つのレベルに分けられる:
- 空間認識層U-Netアーキテクチャに基づき、顔の68のキーポイント領域を認識できる動的アテンションマスクを生成します。
- 特徴融合層AdaIN (Adaptive Instance Normalisation) テクニックは、ピクセル空間ではなく、特徴空間に同一性特徴を移行するために使用されます。
- マルチスケール校正4レベルのピラミッド構造(512px→256px→128px→64px)により、全体的な輪郭から孔の細部に至るまで、マルチスケールでの一貫性を確保。
このモジュールの革新性は、顔領域全体を直接修正する従来の方法では平均80~120ピクセルの背景汚染が生じるのに対し、PIMでは正確な空間変調によって汚染を15ピクセル未満に抑えながら、92.7%(ArcFaceメトリクスに基づく)の顔同一性類似度を維持しているという事実に反映されている。
この答えは記事から得たものである。CanonSwap:ビデオで忠実度の高い顔の入れ替えを実現するツールについて































