LatentSyncとはどのようなもので、他のリップ・シンク・ツールと比べてどのような利点がありますか？

2025-08-27

2.4 K

LatentSyncの概要

LatentSyncはByteHopが開発したものです。オープンソースのオーディオドライバリップ同期ツール安定拡散の潜在拡散モデルに基づいて構築されています。入力オーディオとビデオの直接合成手動でフレームごとに調整することなく、リップシェイプの出力映像を正確にマッチング。

テクノロジー・アーキテクチャー音声特徴を抽出するWhisperとビデオフレームを生成するU-Netの組み合わせは、従来のキーポイント検出方法よりも自然である。
エンド・ツー・エンド処理完全な動画を直接出力（中間パラメータを抽出する必要がない）
言語適応: バージョン1.5は中国語対応に最適化されています（Wav2Lipなどの類似ツールは主に英語対応です）。
ハードウェア・フレンドリー推論に必要なビデオメモリはわずか6.8GBで、トレーニングに必要な容量は20GBに抑えられます。
オープンソースで無料Adobe Character Animatorのような商用ソリューションはサブスクリプションが必要です。