Programa de otimização de recursos
Três caminhos principais de solução para memória de vídeo insuficiente:
- Tecnologia de descarregamento de memóriaAtivar o parâmetro -offload_model para mover dinamicamente componentes, como o codificador visual ViT, para a memória da CPU.
- computação distribuída
- Soluções de serviços em nuvemUso recomendado de instâncias AWS p4d.24xlarge (8×A100) ou do serviço de cluster de GPU do Lambda Labs
Para ambientes com várias GPUs (por exemplo, 2×A100), use o comando torchrun com o parâmetro -ulysses_size para obter o paralelismo do modelo
Dicas de ajuste
- Resolução CompromissoRedução do parâmetro -size para 640*480 reduz o espaço de memória em cerca de 40%.
- Geração de segmentosÁudio longo: Divida o áudio longo em dois clipes separados com -num_clip 2
- Ajuste de precisãoAdicionar o parâmetro -fp16 para mudar para o cálculo de precisão mista (requer placa de vídeo RTX série 30 ou superior)
Essa resposta foi extraída do artigoWan2.2-S2V-14B: modelo de geração de vídeo para sincronização da boca do personagem com base na falaO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como superar o problema de falha de geração devido à insuficiência de hardware?
