Principais técnicas para manter a consistência facial
Maneiras de evitar a geração de vídeos com recursos distorcidos:
- Seleção de modelos:Confirme se ele está carregado corretamente
FantasyTalking_model.ckpt
responder cantandoWan2.1-I2V-14B-720P
modelo básico - Fortalecimento do foco:Habilitar o
facial attention cross-attention
adicione o módulo--enable_fa_xattn
parâmetros - Especificação de entrada:Use fotos com iluminação uniforme na face frontal para evitar interferências, como reflexos de óculos, e recomende retratos puros após o uso de keying de tela verde
- Programa de pós-tratamento:Para a saída de vídeo, use
GFPGAN
Realizar aprimoramento facial, exemplo de comando:python enhance.py --input video.mp4 --type face
Principais métricas: a distorção é quase imperceptível ao olho humano quando o deslocamento da marca é <5 pixels
Essa resposta foi extraída do artigoFantasyTalking: uma ferramenta de código aberto para gerar retratos falados realistasO