Aumento da precisão com o avanço da tecnologia PIM
Uma das principais inovações da CanonSwap é o módulo Partial Identity Modulation (PIM), uma tecnologia que permite o controle de precisão milimétrica das modificações faciais. O PIM gera máscaras espaciais que visam apenas as principais áreas de características faciais, como olhos, nariz, boca, etc., garantindo que as áreas não faciais, como o cabelo e o fundo, não sejam afetadas.
No nível da implementação técnica, o módulo PIM contém três componentes principais: um mecanismo de atenção para determinar a região de modificação, uma rede neural leve para lidar com a fusão de recursos e a conectividade residual para manter intacta a região não visada. Dados experimentais mostram que o uso da tecnologia PIM pode reduzir o erro de alinhamento do ponto de característica facial para 0,3 pixels, o que melhora a precisão em 8 vezes em comparação com os métodos tradicionais, como o DeepFaceLab, e, ao mesmo tempo, reduz os artefatos de borda em 75%. Esse avanço tecnológico é a chave para a capacidade da CanonSwap de obter qualidade de troca de rosto de nível cinematográfico e televisivo.
Essa resposta foi extraída do artigoCanonSwap: uma ferramenta para obter troca de faces de alta fidelidade em vídeoO
