A arquitetura técnica subjacente do ChatAnyone
O ChatAnyone emprega um modelo hierárquico de difusão de movimento de última geração como sua estrutura tecnológica central, representando uma inovação significativa da equipe HumanAIGC no campo da geração humana digital. Esse modelo utiliza os recursos de processamento em várias etapas dos algoritmos de difusão para transformar entradas estáticas de imagem e áudio em sequências de movimento coerentes. Em sua implementação, o modelo processa três dimensões principais hierarquicamente: 1) A camada de movimento da cabeça gera rotações naturais da cabeça;2) A camada de gestos simula a linguagem corporal dos membros superiores humanos; 3) A camada de expressões faciais garante a sincronização entre as microexpressões faciais e o conteúdo vocal. Essa arquitetura em camadas permite o processamento paralelo de parâmetros de movimento em diferentes segmentos do corpo, produzindo sequências de movimento que se alinham melhor aos princípios biomecânicos em comparação com as abordagens LSTM tradicionais de camada única.
Durante a demonstração técnica, o sistema alcançou uma saída estável de um fluxo de vídeo com resolução de 512×768 a 30 FPS em um ambiente de GPU NVIDIA 4090, validando a viabilidade de engenharia dessa arquitetura.A página do projeto no GitHub revela que o treinamento do modelo de difusão de movimento utilizou mais de 1.000 horas de dados de movimento anotados, incorporando características de linguagem corporal de diversas origens culturais. Embora o código atual não seja totalmente open source, a abordagem técnica fornece uma solução de referência para o campo humano digital.
Essa resposta foi extraída do artigoChatAnyone: uma ferramenta para gerar vídeos de retratos humanos digitais de meio corpo a partir de fotografiasO
