処方
LatentSyncバージョン1.5は中国語対応に最適化されています:
- バージョンアップ:必ずバージョン1.5以上を使用してください。
- オーディオの前処理:中国語のオーディオサンプルレートを16000Hzに調整
- モデル選択:最新の事前学習済みモデルlatentsync_unet.ptを使用する。
- パラメーターの微調整:inference_stepsを30~40ステップに増やす。
中国語音声のリップシンク精度は、これらの対策によって大幅に向上させることができる。
この答えは記事から得たものである。LatentSync: 音声から直接リップシンクされたビデオを生成するオープンソースツールについて