Avanço na tecnologia de codificação de condições essenciais
A codificação Skeleton-Plücker, como um dos principais pontos de inovação do Diffuman4D, resolve de forma eficaz o desafio de sincronizar movimentos entre perspectivas ao fundir dados cinemáticos do esqueleto com restrições geométricas do sistema de coordenadas Plücker. O sistema requer a entrada de dados do esqueleto no formato JSON extraídos via OpenPose/MediaPipe, e o algoritmo constrói um espaço de linha Plücker em 3D para descrever a trajetória do movimento humano, injetando conhecimento geométrico a priori em cada etapa de redução de ruído do modelo de difusão.
Os dados experimentais mostram que o índice PSNR espaço-temporal do vídeo gerado é melhorado em cerca de 3,2 dB e o erro de deslocamento das articulações dinâmicas é reduzido em 421TP3 T. Casos típicos, como a cena de geração de ação de dança, em que o método tradicional terá o fenômeno de deslizamento do pé (escorregamento), e a razoabilidade física da ação é melhorada em 781TP3 T com o uso dessa codificação.
Essa resposta foi extraída do artigoDiffuman4D: Geração de imagens 4D de alta fidelidade do corpo humano a partir de vídeos esparsosO
