preliminar
Para fazer as fotos "dançarem", você precisa preparar dois materiais principais: uma foto de retrato e um vídeo de direção da ação-alvo.
Etapas detalhadas
- Implementação de ambiente
- Clonar o repositório do projeto: git clone https://github.com/bytedance/X-Dyna.git
- Instalar dependências: pip install -r requirements.txt
- Configurar o ambiente do PyTorch 2.0: bash env_torch2_install.sh
- Preparar o material
- Selecione uma foto nítida de frente para o retrato (.jpg/.png)
- Prepare um vídeo de referência contendo movimentos de dança padrão (.mp4)
- Geração de execução
- Execute o comando: python inference_xdyna.py -input_image photo path -driving_video video path
- A suavização de movimento pode ser ajustada com o parâmetro -num_mix
Dicas de otimização
Ao encontrar movimentos incoerentes, recomenda-se: 1) aumentar o ddim_steps para 50-100; 2) usar o LCM LoRA para acelerar o modelo; e 3) certificar-se de que os movimentos no vídeo da unidade sejam completos e coerentes. O projeto também recomenda usar o parâmetro best_frame para selecionar o quadro inicial mais adequado.
Essa resposta foi extraída do artigoX-Dyna: Vídeo de referência de retrato estático Vídeo de geração de pose para fazer as fotos de Missy dançaremO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como fazer um vídeo de dança a partir de fotos estáticas usando o X-Dyna?
