O sistema de avatar 3D do freebeat.ai emprega tecnologia de ponta em visão computacional para construir um corpo digital com 68 pontos de características faciais a partir de uma única foto de usuário. Com base na arquitetura StyleGAN aprimorada, esse recurso alcança os principais avanços tecnológicos na estrutura do modelo morfológico 3D (3DMM), tais como: detecção automática de contornos faciais, preenchimento inteligente de detalhes do cabelo e adaptação dinâmica de 15 modelos de expressão padrão.
O processo de operação mostra que as fotos 2D carregadas pelo usuário passam por um processo triplo de detecção de borda, mapeamento de textura e ligação óssea: primeiro, as características faciais são extraídas por uma rede neural convolucional, depois as coordenadas 2D são convertidas em um modelo paramétrico 3D e, por fim, um personagem móvel é gerado com 32 pontos de controle de articulação. O sistema suporta o ajuste em tempo real de mais de 20 parâmetros, como cor da pele e penteado, e o personagem virtual gerado pode ser aplicado diretamente aos dados de captura de movimento que conduzem o vídeo de dança.
Os testes mostraram que a tecnologia mantém a reprodução das características faciais do 92% em imagens de entrada de baixa qualidade (por exemplo, selfies de celulares). Em comparação com soluções semelhantes do setor, ela apresenta uma profunda integração ao processo de produção de vídeo - os personagens 3D gerados são automaticamente adaptados à simulação física de diferentes movimentos de dança, garantindo que as oscilações das roupas e as deformações musculares durante o movimento sejam biomecanicamente corretas.
Essa resposta foi extraída do artigofreebeat.ai: Transforme músicas em vídeos de dança e videoclipes em um clique!O
