Sistema de aprimoramento da qualidade de vídeo baseado em modelo de difusão
O módulo de difusão de vídeo do Go-with-the-Flow permite um processo industrializado desde o esboço até o filme finalizado. O sistema otimiza os seguintes aspectos de processamento na arquitetura NVIDIA CUDA:
- Aprimoramento da coerência de movimento: coerência entre quadros usando mecanismos de atenção espaço-temporal
- Síntese de detalhes: aprimoramento de textura usando o modelo de difusão estável pré-treinado
- Computação paralela: balanceamento de carga de várias GPUs por meio da divisão de blocos de quadros
Em um fluxo de trabalho típico, os usuários criam animações brutas em um dispositivo de CPU e, em seguida, passam para uma estação de trabalho com GPU para realizar aprimoramentos de difusão. Os dados de teste mostram que o processamento de um vídeo de 5 segundos (24 fps) em uma placa de vídeo RTX 3090 leva apenas 90 segundos, uma aceleração de 35 vezes em comparação com as implementações somente em CPU. Em termos de qualidade de saída, o vídeo gerado pelo sistema melhora de 0,15 a 0,23 na métrica de similaridade visual LPIPS em comparação com os métodos de interpolação tradicionais e tem uma vantagem significativa em detalhes dinâmicos, como reflexos de luz e sombra e desfoque de movimento, em particular.
Essa resposta foi extraída do artigoGo-with-the-Flow: controla o movimento dos objetos no vídeo, adicionando ou subtraindo qualquer objeto em movimento no vídeo.O
