O "espaço normativo" da CanonSwap é sua principal inovação, que é essencialmente um espaço metodológico para o processamento padronizado de quadros de vídeo. A ideia central da tecnologia é dissociar as informações do rosto por meio de algoritmos de aprendizagem profunda emperfilresponder cantandoCaracterísticas do movimentoDuas dimensões independentes.
O processo de realização concreta consiste em três etapas principais:
- transformação do espaçoUse o extrator de movimento para analisar os parâmetros dinâmicos, como a pose da cabeça e a expressão dos quadros de vídeo originais, e mapeie todos os rostos para a pose padrão de avanço uniformemente
- separação de recursosInformações de identidade facial (por exemplo, forma das características, cor da pele etc.) e informações de movimento (por exemplo, piscar, sorrir etc.) são armazenadas completamente separadas no espaço normativo
- Edição seletivaModificar apenas os vetores de recursos externos no espaço normativo, mantendo os parâmetros de movimento originais absolutamente inalterados
Essa tecnologia rompe a limitação de que as técnicas tradicionais de troca de rosto devem modificar a aparência e o movimento simultaneamente, permitindo que o vídeo final gerado atenda aos padrões duplos de alta fidelidade de identidade e distorção dinâmica zero simultaneamente.
Essa resposta foi extraída do artigoCanonSwap: uma ferramenta para obter troca de faces de alta fidelidade em vídeoO
