BoomCutは、特許を取得したリップ・ドライブ・テクノロジー特定のインクルージョンで、口のシンクロを実現する:
- 音声-音声モデリングAIは、元のビデオの各フレームにおける唇の筋肉の動きのパターンを分析します。
- 音素アライメント翻訳された新ダブを言語固有の音素単位(例えば英語なら44音素)に分解する。
- ダイナミックレンダリング顎の開閉、口の位置など32の主要なパラメータを調整しながら、音素列に基づいて対応する顔のアニメーションを生成します。
ユーザーは「リップシンク・ドライバー」オプションにチェックを入れるだけで、システムが自動的に上記のプロセスを完了し、外国語吹き替えを俳優のオリジナル音声のような効果にします。
この答えは記事から得たものである。BoomCut:動画翻訳とローカライズをサポートするAIマーケティング動画生成ツールについて