シード・ディフュージョンの高速特性は、その革新的な技術アーキテクチャに由来する:
- 並列復号メカニズムトークンを1つずつ生成する自己回帰モデルとは異なり、拡散モデルの枠組みを採用し、最初のドラフトを全体として生成し、並行して精緻化することで、生成ステップ数を大幅に削減する。
- 同じ戦略の学習最適化より少ない拡散ステップで高品質の生成を達成するために、モデルを学習させる。
- 構造化データ処理の利点コード自体の構造がしっかりしているため、拡散モデルの反復最適化に適しており、より早くモデルを望ましい出力に収束させることができる。
実証テストによると、このアーキテクチャは2146トークン/秒で推論が可能であり、これは従来のアプローチの5.4倍の速さである。
この答えは記事から得たものである。シードの拡散:次世代アーキテクチャのための高速言語モデルの検証について