Soraビデオ生成モデル：仮想世界構築のためのシミュレータ［翻訳］.

2024-02-26

1.3 K

我々は、ビデオデータに対する生成モデルの大規模な学習に取り組んでいる。具体的には、異なる時間、解像度、アスペクト比の動画や画像に対して、テキスト条件拡散に基づくモデルを共同で学習する。我々は変圧器アーキテクチャは、ビデオや画像に潜在的にエンコードされている時空間セグメントを扱うことができるアーキテクチャである。我々の最大のモデルであるSoraは、高品質の1分ビデオを生成する。我々の研究は、ビデオ生成モデルの拡張が、物理世界をシミュレートできる汎用ツールの作成に向けた有望なステップであることを示している。

(1)生成モデルの大規模な学習を可能にするために、様々な種類の視覚データをどのように統一された表現に変換できるか。ソラモデルの能力と限界の定性的評価。モデリングと実施に関する詳細情報は報告書には含まれていない。

多くの先行研究では、リカレントネットワーク1,2,3、生成的敵対ネットワーク4,5,6,7、自己回帰変換器8,9、拡散モデル10,11,12など、様々なアプローチで生成モデルを用いた映像データのモデリングが検討されてきた。は、様々な時間、アスペクト比、解像度の動画や画像、最大1分のHD動画を生成することができる、視覚データの一般化されたモデリングのためのモデルである。

ビジュアル・データの革新的変換：パッチング技術

大規模言語モデル（LLM）がインターネット規模のデータを処理し、全方位的なスキルを開発することに成功したことに触発され13,14、我々は同様の利点を視覚データの生成モデルにどのように適用できるかを探求した。大規模言語モデルはトークン -- コード、数学、複数の自然言語の処理を統合する効率的な方法であり、シームレスなモード間遷移を可能にする。本研究では、ビジュアル領域における対となるものを紹介する。パッチ(パッチ）。パッチは視覚データ表現の効率的な形式であることが示されており15,16,17,18、多様なビデオや画像データを処理する生成モデルの能力を大幅に向上させることができる。

Sora视频生成模型：构建虚拟世界的模拟器 [译]-1 — 図1：パッチの模式図

具体的には、まずビデオデータを低次元のポテンシャル空間に圧縮し19、次に時空間パッチに分解することで、ビデオからパッチへの変換を実現する。

ビデオ圧縮ネットワーク

Soraはこの圧縮された潜在空間で学習され、新しいビデオコンテンツを生成することができる。Soraはこの圧縮された潜在空間で学習され、新しいビデオコンテンツを生成することができる。さらに、この潜在表現をピクセルレベルのビデオ画像に変換するデコーダを開発した。

タイムパッチ技術

圧縮されたビデオ入力を処理することで、一連の時空間パッチを抽出することができる。この時空間パッチは、モデルにおけるトランスフォーマートークンと同様の役割を果たす。この方式は画像処理にも適用可能であり、本質的に画像はビデオの単一フレームとみなすことができるからである。パッチベースの表現を使うことで、Soraは解像度、時間、アスペクト比の異なるビデオや画像に適応することができる。新しいビデオコンテンツを生成する際、ランダムに初期化されたパッチを希望するサイズのグリッドに配置することで、最終的なビデオのサイズと形を制御することができる。

ビデオ生成用トランス拡張

Soraは拡散モデル21,22,23,24,25であり、ノイズの多い画像チャンク（およびテキストキューなどの条件付き情報）を入力として受け入れ、元の「明瞭な」画像チャンクを予測するように学習される。Soraは拡散Transformerであり、Transformer技術は言語モデリング13,14、コンピュータビジョン15,16,17,18、画像生成27,28,29を含む多くの領域で優れたスケーラビリティを実証していることは注目に値する。

本研究では、拡散ベースのTransformerがビデオモデリング領域においても効率的にスケールすることを見出す。以下の節では、学習時のシードと入力条件を固定したビデオサンプルを比較することで、学習リソースの増加によってサンプルの品質が大幅に向上することを示す。

基本計算

4倍計算

16倍計算

映像時間、解像度、アスペクト比の多様性

例えば、256×256の解像度で処理された4秒間の動画などである。我々は、動画のオリジナルサイズで直接トレーニングすることで、複数の利点が得られることを発見した。

柔軟なサンプリング機能

Soraは、ワイドスクリーン用の1920×1080p、ポートレート用の1080×1920、そしてその中間など、様々なサイズのビデオを制作することができる。これにより、Soraは様々なデバイスのネイティブアスペクト比に合わせたコンテンツを直接制作することができます。さらに、フル解像度のコンテンツを生成する前に、低いサイズで素早くコンテンツを試作することができます。

構成とレイアウトの最適化

我々の実験によると、動画のネイティブアスペクト比でのトレーニングは、動画の構成とレイアウトの品質を大幅に向上させる。Soraと、生成モデルを学習する際に通常行われる、すべての学習ビデオを正方形に切り抜く別の学習モデルを比較しました。Soraによって生成された動画（右側）は、正方形にトリミングされたモデル（左側）よりも良い構図結果を示しています。一方、Soraはシーンを完全に捉えることができる。

言語理解

テキストから動画を生成するシステムを開発するためには、大量の動画とそれに対応するテキスト記述が必要である。我々は、DALL-E 330で紹介されたリラベリング技術を利用し、動画に適用した。まず、詳細な説明文を生成できるモデルを訓練し、このモデルを用いて訓練セットの全ての動画に対してテキスト説明文を作成した。高度に説明的な動画説明文によるトレーニングは、テキストの精度を向上させるだけでなく、動画の全体的な品質も大幅に向上させることがわかりました。

また、DALL-E 3と同様に、GPTを使用して、短いユーザーからの指示を詳細な指示に変換し、それを映像生成モデルに送ります。このプロセスにより、Soraはユーザーの指示に基づいて高品質な映像を生成することができます。

言語理解力の例（クリックで拡大）

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着てムンバイを散歩する女性-美しい夕暮れのムンバイ-インド[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着てムンバイを散歩する女性-冬の嵐の中で[/videopack].mp4

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た女性がムンバイで楽しい散歩をしている。

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た女性がヨハネスブルグを散歩している。[ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white-t-shirt-taking-apleasant-stroll-in-Johannesburg-South-Africa-during-a-winter-storm.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た女性が、ヨハネスブルグで楽しい散歩をしている。mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white-t-shirt-taking-a pleasant-stroll-in-Antarctica-during-a-beautiful-sunset.mp4[/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た女性が、冬の嵐の中、南極を気持ちよく散歩している。

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-antarctica-during-a-colourful-festival.mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/"美しい夕焼けのムンバイを散歩する緑のドレスと太陽帽子の女性".mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/"冬の嵐の中、ムンバイを散歩する緑色のドレスと太陽帽子の女性".mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/ムンバイでカラフルなお祭りを楽しむ、緑のドレスと太陽の帽子をかぶった女性.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-a-green-dress-and-a-sun-hat-taking-a pleasant-stroll-in-antarctica-during-a beautiful-sunset.mp4[/videopack] （緑色のドレスと太陽帽をかぶった女性が、美しい夕焼けの中、アンタークティカを散歩する）。

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/"緑のドレスと太陽の帽子を身につけた女性" "冬の嵐の中、心地よい散歩をする女性".mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking a pleasant-stroll-in-mumbai-india-during a beautiful-sunset.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/ムンバイで冬の嵐の中、気持ちよく散歩する女性（紫色のオーバーオールとカウボーイブーツ）。

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-apleasant-stroll-in-mumbai-india-during-a-colourful-festival.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/"紫色のオーバーオールとカウボーイブーツを履いた女性がヨハネスブルグで美しい夕日を見ながら気持ちよく散歩している。mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-Johannesburg-South-Africa-during-a-winter-storm.mp4[/urlビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/"紫色のオーバーオールとカウボーイブーツを履いた女性が、ヨハネスブルグ（南アフリカ）のカラフルなお祭りを楽しく散歩している。mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-antarctica-during-a-beautiful-sunset.mp4[/videopack](ビデオパック)

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a pleasant-stroll-in-antarctica-during-a-winter-storm.mp4[/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-woman-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-antarctica-during-a-colourful-festival.mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-mumbai-india-during-a-beautiful-sunset.mp4[/] (日本語)ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-Johannesburg-South-Africa-during-a-beautiful-sunset.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-Johannesburg-South-Africa-during-a-winter-storm.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た老人が、ヨハネスブルグで楽しい散歩をしている。.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-antarctica-during-a-beautiful-sunset.mp4[/videopack](/ビデオパック)

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-antarctica-during-a-winter-storm.mp4[/videopack](/ビデオパック)

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-Antarctica-during-a-colourful-festival.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-mumbai-india-during-a-beautiful-sunset.mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/緑色の服を着て、太陽の帽子をかぶって、ヨハネスブルグの南アフリカの美しい夕日の中を散歩するおじさん.mp4[ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-johannesburg-south-africa-during-a-winter-storm.mp4[/] (日本語)ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-johannesburg-south-africa-during-a-colourful-festival.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Antarctica-during-a-beautiful-sunset.mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Antarctica-during-a-winter-storm.mp4[/videopack](/ビデオパック)

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-Antarctica-during-a-colourful-festival.mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-mumbai-india-during-a-beautiful-sunset.mp4[/] (日本語)ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-mumbai-india-during-a-colourful-festival.mp4[/](英語)ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-johannesburg-south-a-frica-during-a-beautiful-sunset.sunset.mp4[/videopack]（ビデオパック

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-Johannesburg-South-Africa-during-a-winter-storm.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/爺さんが紫のオーバーオールとカウボーイブーツを履いてヨハネスブルグを散歩している。フェスティバル.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-antarctica-during-a-beautiful-sunset.mp4[/] (日本語)ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-antarctica-during-a-winter-storm.mp4[/videopack](ビデオパック)

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-old-man-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-antarctica-during-a-colourful- festival.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-a pleasant-stroll-in-mumbai-india-during a beautiful-sunset.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-mumbai-india-during-a-winter-storm.mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-apleasant-stroll-in-mumbai-india-during-a-colourful-festival.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着たおもちゃのロボットが、美しい夕日の中、ヨハネスブルグ-南アフリカ-アフリカを楽しく散歩している。.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/A-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-apleasant-stroll-in-Johannesburg-South-Africa-during-a-winter-storm.mp4[ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/トイロボット、青いジーンズと白いTシャツを着て、ヨハネスブルグで楽しい散歩をしている。フェスティバル.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-a pleasant-stroll-in-antarctica-during a beautiful-sunset.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-antarctica-during-a-winter-storm.mp4[/videopack](ビデオパック)

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-blue-jeans-and-a-white-t-shirt-taking-a-pleasant-stroll-in-antarctica-during-a-colourful- festival.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-mumbai-india-during-a-beautiful-sunset.mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/トイロボット、緑の服を着て、太陽の帽子をかぶって、ムンバイを散歩している。

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/"緑色の服を着て太陽の帽子をかぶったトイロボット" "美しい夕日の中、ヨハネスブルグ-南アフリカ-アフリカを楽しく散歩するmp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-johannesburg-south-africa-during-a-winter-storm.mp4[/] (日本語)ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/緑色の服を着て、太陽の帽子をかぶったトイロボットが、ヨハネスブルグ（南アフリカ）のカラフルなお祭りを楽しく散歩している。mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat-taking-apleasant-stroll-in-antarctica-during-a-beautiful-sunset.mp4[/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-a-green-dress-and-a-sun-hat-taking-a-pleasant-stroll-in-antarctica-during-a-colourful-festival.mp4[/videopack](/ビデオパック)

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/トイロボット、紫のオーバーオールとカウボーイブーツを履いてムンバイを散歩。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-mumbai-india-during-a-winter-storm.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls-and-cowboy-boots-taking a pleasant-stroll-in-mumbai-india-during-a-colourful-festival.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/玩具ロボットが紫のオーバーオールとカウボーイブーツを履いて、ヨハネスブルグ-南アフリカ-アフリカの美しい夕日の中を楽しく散歩している。sunset.mp4[/videopack]（ビデオパック

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/玩具ロボットが紫のオーバーオールとカウボーイブーツを履いて、冬の嵐の中、ヨハネスブルグ-南アフリカを楽しく散歩する。mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/玩具ロボットが紫のオーバーオールとカウボーイブーツを履いて、ヨハネスブルグ-南アフリカ-を楽しく散歩している。フェスティバル.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls-and-cowboy-boots-taking-a pleasant-stroll-in-antarctica-during a beautiful-sunset.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/a-toy-robot-wearing-purple-overalls-and-cowboy-boots-taking a pleasant-stroll-in-antarctica-during-a-colourful-festival.mp4[/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが青いジーンズと白いTシャツを着てムンバイを散歩している動画。[ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが青いジーンズと白いTシャツを着て、冬の嵐のムンバイを楽しく散歩する動画.mp4[/urlビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが青いジーンズと白いTシャツを着てムンバイを散歩する映像。mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが青いジーンズと白いTシャツを着てヨハネスブルグを散歩している。美しい夕日.mp4[/videopack][/videopack].

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た愛らしいカンガルーが、冬のヨハネスブルグ-南アフリカ-を楽しく散歩している。storm.mp4[/videopack]（ビデオパック

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た愛らしいカンガルーが、ヨハネスブルグ-南アフリカ-を楽しく散歩している。colorful-festival.mp4[/videopack]。

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た愛らしいカンガルーが、美しい夕焼けの中、アンタークティカを楽しく散歩している。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た愛らしいカンガルーが、冬の嵐の中、心地よい散歩をしている。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/青いジーンズと白いTシャツを着た愛らしいカンガルーが、カラフルなお祭りで楽しい散歩をしている。/ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/かわいいカンガルーが緑の服を着て、太陽の帽子をかぶって、美しい夕焼けのムンバイを散歩している。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが緑の服を着て、太陽の帽子をかぶって、冬の嵐のムンバイを楽しく散歩する動画.mp4[/urlビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/かわいいカンガルーが緑の服を着て、太陽の帽子をかぶって、ムンバイのカラフルなお祭りを楽しく散歩している。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが緑の服を着て、太陽の帽子をかぶって、ヨハネスブルグを散歩している。sunset.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが緑の服を着て、太陽の帽子をかぶって、冬のヨハネスブルグを散歩している。ストーム.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが緑の服を着て、太陽の帽子をかぶって、ヨハネスブルグを楽しく散歩している。フェスティバル.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/かわいいカンガルーが緑の服を着て、太陽の帽子をかぶって、美しい夕日の中を散歩している。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/かわいいカンガルーが緑の服を着て、太陽の帽子をかぶって、冬の嵐の中、気持ちよく散歩している。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/かわいいカンガルーが緑の服を着て、太陽の帽子をかぶって、楽しい散歩をしている。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/an-adorable-kangaroo-wearing-purple-overalls-and-cowboy-boots-taking-a-pleasant-stroll-in-mumbai-india-during-a-beautiful-sunset.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/かわいいカンガルーが紫のオーバーオールとカウボーイブーツを履いてムンバイを散歩している映像。ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/ムンバイ・インド・カラフル・フェスティバルの間、楽しい散歩をする紫色のオーバーオールとカウボーイブーツを履いた愛らしいカンガルー。mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが紫のオーバーオールとカウボーイブーツを履いてヨハネスブルグを散歩している。美しい夕焼け.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが紫のオーバーオールとカウボーイブーツを履いて、冬の嵐の中、ヨハネスブルグを散歩している。winter-storm.mp4[/videopack]（ビデオパック

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/カンガルーが紫のオーバーオールとカウボーイブーツを履いてヨハネスブルグを散歩している。colorful-festival.mp4[/videopack]

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/紫色のオーバーオールとカウボーイブーツを履いた愛らしいカンガルーが、美しい夕暮れの中、アンタークティカを楽しく散歩している。[ビデオパック］

[videopack width="640″ height="360″ downloadlink="true"]https://cdn.openai.com/tmp/s/かわいいカンガルーが紫のオーバーオールとカウボーイブーツを履いて、冬の嵐の中、楽しい散歩をしている。ビデオパック］

写真やビデオのキュー機能

当ウェブサイトに掲載されている例やビデオは、すべてテキストから変換されています。しかし、Soraは画像や既存の動画を入力として受け付けることもできます。この機能により、シームレスなループ動画の作成、静止画のアニメーション化、動画の再生時間延長など、様々な画像・動画編集を行うことができます。

DALL-Eの写真を動かす

画像とプロンプトだけで、Soraは動画を作成することができます。DALL-E 231とDALL-E 330の画像から生成された動画の例を以下に示します。

Sora视频生成模型：构建虚拟世界的模拟器 [译]-3 — ベレー帽と黒のタートルネックを着た柴犬。

Sora视频生成模型：构建虚拟世界的模拟器 [译]-4 — 様々なモンスターを含む家族のグラフィックデザイン風イラスト。毛皮で覆われた茶色のモンスター、触手が生えたなめらかな黒いモンスター、斑点のある緑のモンスター、水玉模様の小さなモンスターが、楽しい環境の中で交流している。

Sora视频生成模型：构建虚拟世界的模拟器 [译]-5 — SORA "の文字でリアルな雲のイメージを形作る。

ビデオ・タイムストレッチ

Soraは、ビデオを前方または後方に延長することもできる。下の4つのビデオは、すべて生成されたビデオクリップから始まり、後方に伸びる。つまり、この4つの動画は始まりが異なっていても、すべて同じ終わりに収束している。

このテクニックを使って、ビデオを前方や後方に拡大し、完璧な無限ループ効果を作り出すことができた。

革新的なビデオからビデオへの編集

拡散モデリングは、テキストを手がかりとした画像やビデオの編集に新たな地平を開く。SDEdit32は、Soraが事前の例なしに動画のスタイルや環境を変更できるようにする技術である。この技術により、Soraは事前の例なしにビデオのスタイルや環境を変えることができる。

入力ビデオ

Lush Jungleに設定を変更する。

設定を1920年代に変更し、旧式のcaptureRejectionSymbolを使用する。

水中に作る。

ビデオの設定を山とは違うシーンに変える？ジョシュアツリーとか？

ビデオを虹のパスで空間に配置する。

映像はそのままで、冬にする。

クレイアニメーションのスタイルで作られている。

それを木炭画のスタイルで、白黒になるように描き直す。

設定をサイバーパンクに変更する。

ビデオを中世のテーマに変える。

恐竜を登場させる。

ビデオをピクセルアート風に書き直す。

ビデオ間のスムーズなトランジション

また、Soraを使えば、全く異なる2つの動画を滑らかにつなげ、あたかも1つの動画のように自然に移行させることもできます。下の例では、真ん中の動画が左右の動画の要素を微妙にブレンドしているのがわかります。

魔法のような映像の創造

Soraの魅力的な画像を作成する能力は、ビデオに限定されるものではない。ガウシアンノイズのブロックを1フレーム分の空間グリッドに配置することで、このマジックを実現している。この方法で、Soraは最大解像度2048×2048までのあらゆるサイズの画像を作成することができる。

素晴らしいディテールと驚くほど浅い被写界深度を持つ、秋の日の女性のクローズアップポートレート。

色とりどりの魚や海洋生物が織りなす、活気に満ちたサンゴ礁。

リンゴの木の下にいる若いトラのデジタル・アートワークは、マット・ペインティング・スタイルの細密な美しさを表現している。

雪に覆われた山村、居心地の良いコテージ、そしてオーロラが、まるで50mm F1.2のレンズを装着したデジタル一眼レフカメラで撮影したかのように、絶妙なディテールで展開される。

新たなシミュレーション能力

我々は、大規模なトレーニングの下で、ビデオモデルが魅力的な一連の創発的能力を示すことを発見した。これらの能力は、Soraに現実世界の人、動物、環境をある程度シミュレートする能力を与える。このような創発的能力は、3D空間やオブジェクトなどに対する特定の事前決定を必要としない。

三次元空間コヒーレンス。 Soraは、ダイナミックなパースペクティブの変化を伴う映像を生成する。カメラの位置や角度が変わると、映像の中のキャラクターやシーン要素が3次元空間で首尾一貫して動くことができる。

長距離の連続性とオブジェクトの永続性。 長い動画を生成する際に、時間的な連続性を維持することは課題であった。Soraは通常、短距離依存性と長距離依存性の両方を効果的に処理できることが確認されている。例えば、我々のモデルは、キャラクタ、動物、またはオブジェクトがオクルードされたり、フレームの外に移動したりしても、その連続的な存在を維持することができる。同様に、同じビデオサンプルの中で同じキャラクターを複数回表示することができ、全体を通してそのキャラクターを確実に表示することができます。

世界との交流。 ソラは時に、世界の状態に影響を与えるだけの行動をシミュレートすることができる。例えば、画家がキャンバスに残した筆跡は時間が経っても消えないし、誰かがハンバーガーを食べたときに残る噛み跡も消えない。

デジタル世界のアナログ。 Soraはビデオゲームなどのデジタル処理もシミュレートできる。マインクラフトのゲームキャラクターを基本操作でコントロールしながら、ゲームの世界とそのダイナミクスを高品質でレンダリングできる。これらの機能は、プロンプトとして "Minecraft "という単語を口にするだけで、呼び出すことができる。

これらの特徴は、ビデオモデリングの規模が拡大し続けていることが、物理的な世界だけでなく、デジタル世界（その中にある物体、動物、人間を含む）を高度にシミュレートできる高度なシミュレーターの開発に向けて有望な道であることを示している。

計らう

シミュレーターとしてのSoraには、現在のところ多くの限界がある。例えば、ガラスを割るような基本的な物理的インタラクションを正確にシミュレートすることはできない。食事のようないくつかのインタラクションは、オブジェクトの状態の変化を必ずしも正しく反映しません。私たちはOpenAI そらの紹介ページこのモデルのその他の一般的な不具合については、長いビデオサンプルの不一致や物体の突然の出現といった問題を含めて詳しく説明している。

Soraの既存の能力は、ビデオモデルのスケールを拡大し続けることが、物理世界とデジタル世界、そしてその中の物体、動物、人間を正確にモデル化できる高度なシミュレーターの開発に向けた有望な道であることを示していると我々は信じている。

参考文献

Srivastava, Nitish, Elman Mansimov, and Ruslan Salakhudinov. "Unsupervised learning of video representations using lstms." International conference on machine learning.
Chiappa, Silvia, et al. "Recurrent environment simulators." arXiv preprint arXiv:1704.02254 (2017).
Ha, David, and Jürgen Schmidhuber. "World models." arXiv preprint arXiv:1803.10122 (2018).
Vondrick, Carl, Hamed Pirsiavash, and Antonio Torralba. "Generating videos with scene dynamics." Advances in neural information processing systems.情報処理システム 29 (2016).
Mocogan: Decomposing motion and content for video generation." Proceedings of IEEE.会議録コンピュータビジョンとパターン認識。
Clark, Aidan, Jeff Donahue, and Karen Simonyan. "Adversarial video generation on complex datasets." arXiv preprint arXiv.1907.06571 (2019).
Brooks, Tim, et al. "Generating long videos of dynamic scenes." Advances in Neural Information Processing Systems 35 (2022).: 31769-31781.
Videogpt：vq-vaeと変換器を使ったビデオ生成」arXiv preprint arXiv:2104.10157 (2021).
Wu, Chenfei, et al. "Nüwa: Visual synthesis pre-training for neural visual world creation." European conference onCham: Springer Nature Switzerland, 2022.
Ho, Jonathan, et al. "Imagen video: High Definition Video Generation with diffusion models.". arXiv preprint arXiv:2210.02303 (2022).
Blattmann, Andreas, et al. "Align your latents: High-resolution video synthesis with latent diffusion models.".Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.
Gupta, Agrim, et al. "Photorealistic video generation with diffusion models." arXiv preprint arXiv:2312.06662 (2023).
Vaswani, Ashish, et al. "Attention is all you need.". 神経情報処理システムの進歩 30 (2017).
Brown, Tom, et al. "Language models are few-shot learners.". 神経情報処理システムの進歩 33 (2020): 1877-1901.
Dosovitskiy, Alexey, et al. "An image is worth 16×16 words: transformers for image recognition at scale.". arXivプレプリント arXiv:2010.11929 (2020).
Arnab, Anurag, et al. "Vivit: A video vision transformer". コンピュータビジョンに関するIEEE/CVF国際会議議事録. 2021.
He, Kaiming, et al. "Masked autoencoders are scalable vision learners.". コンピュータビジョンとパターン認識に関するIEEE/CVF会議予稿集. 2022.
Dehghani, Mostafa, et al. "Patch n'Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution". arXiv preprint arXiv:2307.06304 (2023).
Rombach, Robin, et al. "High-resolution image synthesis with latent diffusion models.". コンピュータビジョンとパターン認識に関するIEEE/CVF会議予稿集. 2022.
Kingma, Diederik P., and Max Welling. "Auto-encoding variational bayes.". arXiv preprint arXiv:1312.6114 (2013).
Sohl-Dickstein, Jascha, et al. "Deep unsupervised learning using nonequilibrium thermodynamics". 機械学習国際会議. PMLR, 2015.
Ho, Jonathan, Ajay Jain, and Pieter Abbeel. "Denoising diffusion probabilistic models.". 神経情報処理システムの進歩 33 (2020): 6840-6851.
Nichol, Alexander Quinn, and Prafulla Dhariwal. "Improved denoising diffusion probabilistic models.". 機械学習国際会議. PMLR、2021年
Dhariwal, Prafulla, and Alexander Quinn Nichol. "Diffusion Models Beat GANs on Image Synthesis.". 神経情報処理システムの進歩. 2021.
Karras, Tero, et al. "Elucidating design space of diffusion-based generative models". 神経情報処理システムの進歩 35 (2022): 26565-26577.
Peebles, William, and Saining Xie. "Scalable diffusion models with transformers.". IEEE/CVFコンピュータビジョン国際会議論文集. 2023.
Chen, Mark, et al. "Generative pre-training from pixels.". 機械学習国際会議. PMLR、2020年
Ramesh, Aditya, et al. "Zero shot text-to-image generation". 機械学習国際会議. PMLR、2021年
Yu, Jiahui, et al. "Scaling autoregressive models for content-rich text-to-image generation". arXiv preprint arXiv:2206.10789 2.3 (2022): 5.
Betker, James, et al. "Improving image generation with better captions.". https://cdn.openai.com/papers/dall-e-3. pdf 2.3 (2023): 8
Ramesh, Aditya, et al. "Hierarchical text-conditional image generation with clip latents". arXiv preprint arXiv:2204.06125 1.2 (2022): 3.
Meng, Chenlin, et al. "Sdedit: guided image synthesis and editing with stochastic differential equations.". arXiv preprint arXiv:2108.01073 (2021).

著者紹介

謝辞

引用

OpenAI et al.として引用し、引用には以下のビブテックスを使用してください。 https://openai.com/bibtex/videoworldsimulators2024.bib