拡散モデルに基づく映像パースペクティブ再構成技術
ReCamMasterは、浙江大学とRacer Technologyチームによって共同開発され、先進的なテキストからビデオへの拡散モデルアーキテクチャを採用している。このツールの核心的な技術革新は、Wan2.1モデルとカメラ軌道制御アルゴリズムを組み合わせることで、単一のビデオソースからマルチビュービデオを生成するという画期的な成果を達成したことにある。特に、ビデオフレーム間の時空間整合性処理を最適化し、生成された新視点映像が動きの一貫性を維持できるようにした。技術的な実装としては、まず入力映像に対して特徴抽出と3Dシーン理解を行い、次にユーザが指定したカメラトラックパラメータに従って視点を再レンダリングし、最後にプロフェッショナルな視覚効果を持つマルチアングル映像を出力する。
この拡散モデルに基づくアプローチは、従来のコンピューター・ビジョン技術よりも複雑なシーンにおけるオクルージョンを処理する能力が高く、ディープラーニングによって元の画像を超えた賢明なコンテンツを生成する。同チームのオープンソース版コードには、すでにWan2.1モデルのフルサポートが含まれているが、商業上の配慮から、最高精度の内部モデルはまだ完全にはオープンになっていない。
この答えは記事から得たものである。ReCamMaster: 1つのビデオからマルチビュービデオを生成するレンダリングツールについて
