Step-Video-T2Vのロングビデオ生成機能
Step-Video-T2Vは、StepFun AIによって開発された30億のパラメータを持つ強力なテキストからビデオへの変換モデルです。このモデルの特徴は、現在のオープンソースのビデオ生成モデルのハイエンドである204fpsまでのビデオを生成する能力です。この能力は、モデルで使用されている深層圧縮可変オートエンコーダ（VAE）技術によるもので、16×16の空間圧縮と8倍の時間圧縮により、動画生成の効率を大幅に向上させている。
具体的には、16×16の空間圧縮は、このモデルがビデオの空間次元を効果的に縮小することを意味し、8倍の時間圧縮はビデオの時間的一貫性を最適化する。これらの技術的ブレークスルーにより、Step-Video-T2Vはビデオ品質を維持しながら、より長いビデオシーケンスを扱うことができます。対照的に、多くの類似モデルは、より長いビデオを生成する際に、メモリ不足に陥ったり、品質劣化に悩まされたりする傾向があります。
Step-Video-T2Vは、標準モードとターボモードという2つのモードを備えている。標準モードは最高品質を追求するシナリオに適しており、30-50の推論ステップを使用することが推奨される。ターボモードは推論ステップ蒸留技術により推論計算量を大幅に削減し、10-15ステップしか必要とせず、高速であるが、品質は若干低下する。どちらのモードも204フレームのロングビデオ生成をサポートし、異なるアプリケーションシナリオのニーズを満たす。
この答えは記事から得たものである。Step-Video-T2V：多言語入力とロングビデオ生成をサポートするVincennesビデオモデルについて
