マゼンタ・リアルタイムの主な機能は以下の通り:
- リアルタイム音楽生成テキスト(例:"light jazz")またはオーディオ・キューに基づいて2秒間のミュージック・クリップを生成します;
- マルチモーダル入力音楽のスタイルやテンポを柔軟にコントロールできるよう、テキストとオーディオの混在したキューをサポート;
- クロススタイルの融合例:60%エレクトロニック+40%クラシカル);
- オープンソース展開Google Colab、ローカルGPU/TPU、CPUでの実行をサポートしています;
- 低遅延インテグレーションブラウザ、DAWプラグイン(例:Ableton Live)、ゲームエンジン(Unity/Unreal)に組み込むことができます。
そのコア・テクノロジーは、19万時間に及ぶ計測データで訓練された800Mパラメータのトランスフォーマー・アーキテクチャに基づくもので、ダイナミックな相互作用と創造的な支援に重点が置かれている。
この答えは記事から得たものである。Magenta RealTime: リアルタイムで音楽を生成するオープンソースモデルについて