A tecnologia TREPA (Regularização Temporal para Atenção Paralela), introduzida pelo LatentSync na versão 1.5, resolve o problema comum de oscilação da tela em vídeos gerados por IA. Essa tecnologia inovadora funciona em três pontos principais:
- Adição de um termo de regularização temporal ao mecanismo de atenção da U-Net para restringir as alterações de características em quadros adjacentes
- Penalização de saltos temporais não naturais por meio de funções de perda especialmente projetadas
- Estabelecer a correlação entre quadros no espaço potencial em vez de otimizar cada quadro individualmente
Em comparação com os métodos tradicionais de processamento quadro a quadro, o TREPA garante a coerência da sequência de vídeo e, ao mesmo tempo, mantém a qualidade de um único quadro. Os testes mostram que essa técnica melhora a pontuação de fluência subjetiva do vídeo gerado em 371 TP3T sem adicionar mais sobrecarga computacional.
Essa resposta foi extraída do artigoLatentSync: uma ferramenta de código aberto para gerar vídeo com sincronização labial diretamente do áudioO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " A tecnologia TREPA é a principal inovação do LatentSync para obter consistência de tempo
Português do Brasil 
简体中文 
English 
日本語 
Deutsch