Detalhes da realização da tecnologia de controle de movimento
O módulo de modulação de intensidade de movimento do FantasyTalking usa técnicas de aprendizagem profunda para analisar os recursos espectrais de áudio e mapeá-los em 72 parâmetros de morfologia de mistura facial. O módulo tem:
- Capacidade de desacoplamento de recursos de áudio para separar o conteúdo da fala dos recursos emocionais para processamento
- Sistema de controle de intensidade multinível com amplitude de membro ajustável (intervalo de 0,1 a 1,0) por meio do parâmetro -audio_weight.
- Mecanismo de feedback em tempo real para garantir a correspondência precisa entre as mudanças de movimento e o andamento do áudio
Essa técnica é especialmente adequada para cenários de âncora virtual, por exemplo, valores de intensidade mais altos (0,8+) podem ser definidos ao fornecer conteúdo excitante, enquanto os cenários de ensino são adequados para intensidade média (0,4-0,6). O sistema garante que a precisão do movimento em áreas importantes (por exemplo, lábios) seja melhor do que a solução tradicional de 30% ou mais por meio do mecanismo de atenção.
Essa resposta foi extraída do artigoFantasyTalking: uma ferramenta de código aberto para gerar retratos falados realistasO
Português do Brasil 
简体中文 
English 
日本語 
Deutsch