HeyGenのビデオ翻訳は、マルチモーダルAI技術を使用して実装されています:
- まず音声認識エンジンオリジナルビデオの音声をテキストに変換する
- 使用ニューラル機械翻訳システムの多言語化
- 結論はこうだ。口合成技術ディープラーニングモデルによって発音中の口の筋肉の動きを分析し、新しい言語の発音に同期するようにデジタル人間の唇の動きを再レンダリングする。
- 結局音声合成(TTS)ターゲット言語のナレーションを作成する
この機能は、英語、中国語、スペイン語など20以上の言語をサポートしています。95%以上、マウスマッチ付き特に企業の国際的なコミュニケーションニーズに適している。
この答えは記事から得たものである。HeyGen:多言語デジタル人間説明ビデオの作成を支援するツールについて