O ChatAnyone é uma ferramenta de geração de humanos digitais com IA desenvolvida pela equipe HumanAIGC. Sua funcionalidade principal gera automaticamente vídeos de humanos digitais com movimentos da parte superior do corpo — incluindo movimentos da cabeça, gestos com as mãos e expressões faciais — a partir de uma única fotografia de retrato e entrada de áudio. Este projeto utiliza tecnologia de modelo de difusão de movimento hierárquico, com recursos principais que incluem:
- Entrada e saída multimodalCombinar imagens estáticas com som para transformá-las em vídeo dinâmico.
- Capacidade de geração de açõesSuporta movimentos da cabeça (como acenar com a cabeça), seis gestos básicos (como fazer um sinal de coração com as mãos, acenar) e sincronização labial.
- Saída de nível profissionalSuporta geração de vídeo em resoluções de até 512×768 com 30 quadros por segundo, alcançando uma renderização eficiente em GPUs NVIDIA 4090.
Em comparação com ferramentas semelhantes, sua característica distintiva reside no refinamento meticuloso dos detalhes dos movimentos da parte superior do corpo, tornando-a adequada para aplicações técnicas, como apresentação de personagens virtuais e produção de animação. Atualmente, o projeto serve principalmente como uma vitrine técnica, compartilhando detalhes de implementação via GitHub, embora ainda não seja totalmente open-source.
Essa resposta foi extraída do artigoChatAnyone: uma ferramenta para gerar vídeos de retratos humanos digitais de meio corpo a partir de fotografiasO
