Sistema inteligente de geração de ações com entradas multimodais
O ChatAnyone realiza o mapeamento de ponta a ponta dos sinais de áudio para os movimentos do corpo, rompendo o paradigma tradicional da animação de quadros-chave. Sua inovação tecnológica contém três níveis: 1) o módulo de análise do ritmo da fala extrai recursos acústicos, como frequência fundamental e energia; 2) o módulo de compreensão semântica identifica o estresse e a tendência emocional da expressão; e 3) o gerador de gestos converte esses recursos em parâmetros de gestos que estão em conformidade com a etiqueta social. Os dados de teste mostram que a precisão da correspondência dos gestos gerados pelo sistema com o foco do enunciado atinge 801 TP3T, o que é melhor do que a média do setor de 651 TP3T.
Em comparação com as soluções tradicionais que requerem curvas de animação projetadas manualmente, esse sistema gera automaticamente movimentos como acenos de cabeça (declarações afirmativas) e mãos estendidas (tons de questionamento), que estão de acordo com os hábitos de comunicação humana. Especialmente no caso de processamento de áudio longo, o sistema garante que o ritmo da ação mude por meio do mecanismo de atenção para evitar a repetição mecânica. Embora a versão atual ainda não tenha aberto a função de interação em tempo real, seu modo de geração de pré-processamento já pode atender às necessidades da produção de conteúdo gravado.
Essa resposta foi extraída do artigoChatAnyone: uma ferramenta para gerar vídeos de retratos humanos digitais de meio corpo a partir de fotografiasO
