映画とテレビのダイナミック制御のためのモーション・デカップリング技術
このフレームワークは、2分岐ニューラルネットワークアーキテクチャにより、カメラモーションパラメータ(ピッチ角や方位角などの6DoFデータを含む)とオブジェクトモーションフィールド(3Dオプティカルフロー表現を使用)を別々に処理します。JSON設定ファイルにより、ユーザーは、1) カメラの軌道周回モードまたは一人称推進モードの採用、2) 物体の動きのキーフレーム補間または物理シミュレーション駆動のサポート、を正確に設定することができます。自動車シナリオのテストでは、このシステムは、NVIDIAのVid2Vidソリューションをはるかに上回る89.2%の動き分離精度で、体の動きとカメラのジッターを自動的に分離することができます。この技術は、いくつかのメタ・ユニバース・プロジェクトの背景アニメーション生成に使用されている。
この答えは記事から得たものである。GenXD: 任意の3Dおよび4Dシーンのビデオを生成するためのオープンソースフレームワークについて































