マイルストーンリリースとなるDemucs v4は、ハイブリッドトランスフォーマーアーキテクチャを統合することにより、トラックセパレーション技術において画期的な進歩を遂げました。このテクノロジーは、Transformerの自己アテンション機構と従来の畳み込みニューラルネットワークを組み合わせることで、特徴抽出能力を大幅に向上させ、分離精度を業界トップレベルに引き上げます。
具体的な実現は以下の通り:
- ボーカル、ドラム・キット、ベース、その他のバッキング・ボーカル、ギター、ピアノの6トラック・セパレーションに対応。
- モデル選択の違い:htdemucs_ftは最高精度でモデルを微調整、htdemucs_6sは6トラックの実験的特徴をサポート
- 処理時間の最適化:オーディオ処理時間は、30%の効率増加のv3バージョンと比較して、元の時間の約1.5倍です。
- グラフィックメモリ要件:3GB以上のGPUメモリを推奨。
このバージョンは特にプロの音楽制作に適しており、リミックス制作のために特定の楽器トラックを正確に抽出することができます。
この答えは記事から得たものである。Demucs: 音楽トラックを分離するための無料のオープンソースツールについて