Step-Video-T2V：多言語入力とロングビデオ生成をサポートするVincennesビデオモデル

Step-Video-T2V是由StepFun AI（阶跃星辰）推出的一款先进的文本到视频转换模型。该模型拥有30亿参数，能够生成长达204帧的视频。通过深度压缩变分自编码器（VAE），模型实现了16×16的空间压缩和8x的时间压缩，从而提高了训练和推理的效率。Step-Video-T2V在视频生成领域表现出色，尤其在视频运动和效率方面。然而，对于处理复杂动作仍存在一定的挑战。该模型是开源的，使用者可以在GitHub上获取和贡献代码。

機能一覧

• 高品質ビデオの生成：30億のパラメータを使用して、最大204 fpsのビデオを生成します。
• 深度压缩技术：采用深度压缩变分自编码器，实现16×16空间压缩和8x时间压缩。
• バイリンガルサポート：英語と中国語のテキストアラートをサポート。
• オープンソースとコミュニティサポート：モデルとベンチマークデータセットは、イノベーションを促進し、クリエイターに力を与えるためにオープンソース化されている。

ヘルプの使用

設置プロセス

1. GitHubリポジトリのクローン：

   git clone https://github.com/stepfun-ai/Step-Video-T2V.git
   

2. プロジェクト・カタログにアクセスする：

   cd Step-Video-T2V
   

3. 仮想環境を作成し、起動する：

   conda create -n stepvideo python=3.10
   conda activate stepvideo
   

4. 依存関係をインストールします：

   pip install -e .
   pip install flash-attn --no-build-isolation  ## flash-attn是可选的
   

使用ガイドライン

ビデオの作成

1. ファイルに保存するテキストプロンプトを用意する。prompt.txt::

   飞机在蓝天中飞翔
   

2. ビデオ生成スクリプトを実行する：

   python generate_video.py --input prompt.txt --output video.mp4
   

詳細な機能操作の流れ

1. 高画質ビデオの作成::
   • テキスト入力：ユーザーがビデオの内容を説明するテキストを入力する。
   • モデル処理：Step-Video-T2Vモデルはテキストを解析し、ビデオを生成する。
   • ビデオ出力：生成されたビデオはMP4形式で保存され、ユーザーがいつでも閲覧・共有できます。
2. ディープ・コンプレッション・テクノロジー::
   • 空间压缩：通过16×16的空间压缩技术，提高视频生成效率。
   • 時間圧縮：8倍の時間圧縮技術により、ビデオ生成速度と品質がさらに最適化されています。
3. バイリンガルサポート::
   • 英語サポート：ユーザーが英語のテキストを入力すると、モデルが自動的に解析し、対応するビデオを生成します。
   • 中国語サポート：ユーザーは中国語テキストを入力することができ、モデルも対応するビデオを生成することができ、多言語ユーザーのニーズをサポートします。
4. オープンソースとコミュニティ・サポート::
   • オープンソース・コード：ユーザーはGitHubでモデルの全コードにアクセスし、自分自身でデプロイしたり修正したりすることができる。
   • コミュニティへの貢献: ユーザーは、モデルの改善や最適化に参加するために、コードの貢献を提出することができます。

シングルGPUによる推論と定量化

Step-Video-T2Vプロジェクトは、シングルGPUによる推論と定量化をサポートし、必要なグラフィックス・メモリ量を大幅に削減します。以下をご参照ください関連例詳細はこちら。

ベストプラクティスの推論設定

Step-Video-T2Vは推論設定において良好な性能を発揮し、一貫して忠実で動的な動画を生成する。しかし、我々の実験は、推論ハイパーパラメータのバリエーションが生成品質に影響を与えることを示している。

モデルダウンロード