Gokuの画期的な点は、ストリーム変換技術によって構築された動的表現システムにある。このシステムは、時空間注意メカニズムによってビデオフレーム間の密な対応を確立し、モデルによるピクセルレベルでの動きの軌跡の予測を可能にする。具体的な実装としては、アルゴリズムは、隣接するフレームの特徴マップのオプティカルフローフィールドを計算し、この動き情報を学習可能なフロートークンにエンコードし、通常のコンテントトークンとともに変換器の自己注意計算に参加する。
この設計は2つの大きな利点をもたらす。1つは、このモデルが、衣服の揺れや液体の流れの物理的特性のような、物体の運動の法則を明示的にモデル化できること、もう1つは、このシステムがフレーム間の画像領域の対応関係を逆導出し、長いシーケンス生成におけるコンテンツの一貫性を確保できることである。テキストを動画に変換するタスクにおいて、この技術により生成された動画の動きの自然さのスコアは4.8/5となり、純粋な拡散モデルよりも32%向上した。
某映画・テレビ特撮会社のテストケースでは、Gokuによって生成されたキャラクター動画クリップの衣服のひだの動きの連続性が、従来の手法に比べて40%向上しており、特に微細なモーションキャプチャを必要とするバーチャルキャラクター制作シーンに適していることが示された。
この答えは記事から得たものである。悟空：詳細で一貫性のある動画を生成します。詳細なキャラクターやオブジェクトを使用したコマーシャルの作成に最適です。について
