モーション・コントロール技術の実現の詳細
FantasyTalkingのMotion Intensity Modulationモジュールは、ディープラーニング技術を使用してオーディオスペクトルの特徴を分析し、72のフェイシャルブレンドモルフォロジーパラメータにマッピングします。このモジュールには
- 音声を感情的な特徴から切り離して処理する音声特徴デカップリング機能
- -audio_weightパラメータで四肢の振幅（0.1-1.0の範囲）を調整可能なマルチレベル・インテンシティ・コントロール・システム。
- 動きの変化とオーディオのテンポを正確に対応させるリアルタイム・フィードバック機構
このテクニックは特にバーチャル・アンカー・シナリオに適しており、例えば、刺激的なコンテンツを提供する場合にはより高い強度値（0.8以上）を設定することができ、一方、教育シナリオには中程度の強度（0.4～0.6）が適している。このシステムは、アテンション・メカニズムにより、重要な領域（例えば、唇）のモーション精度を、従来のソリューションである30%以上よりも確実に向上させます。
この答えは記事から得たものである。FantasyTalking: リアルな似顔絵を生成するオープンソースツールについて
