Diffuman4D: Geração de imagens 4D de alta fidelidade do corpo humano a partir de vídeos esparsos

O Diffuman4D é um projeto desenvolvido pela equipe de pesquisa ZJU3DV da Universidade de Zhejiang, com foco na geração de visualizações do corpo humano em 4D de alta fidelidade a partir de vídeos com visualizações esparsas. O projeto combina o modelo de difusão espaço-temporal e a técnica 4DGS (4D Gaussian Splatting), que resolve o problema de que os métodos tradicionais são difíceis de gerar visualizações de alta qualidade com entradas esparsas. Ele oferece suporte à renderização de visualização livre em tempo real, gerando vídeos consistentes com várias visualizações e reconstruindo modelos 4D de alta resolução (1024p) combinando os vídeos de entrada. O projeto é adequado para cenários que exigem captura e renderização de movimentos humanos de alta precisão, como realidade virtual e produção de animação. O código e o modelo são de código aberto no GitHub, e os resultados da pesquisa foram aceitos pelo ICCV 2025.

Lista de funções

• Geração de vídeos multivisualizados com consistência espaço-temporal a partir de vídeos com visualizações esparsas.
• Construir modelos 4DGS de alta fidelidade com base em vídeos gerados e de entrada.
• Oferece suporte à renderização de visualização livre em tempo real para renderizar trajes complexos e movimentos dinâmicos.
• Fornece codificação condicional Skeleton-Plücker para aumentar a consistência da geração de vídeo.
• Reconstrução 4DGS usando a tecnologia LongVolcap para otimizar a qualidade da renderização.
• Código-fonte aberto e modelos para pesquisadores e desenvolvedores.

Usando a Ajuda

Processo de instalação

1. Preparação ambiental
   Certifique-se de que o Python 3.8 ou posterior esteja instalado em seu sistema; um ambiente virtual é recomendado para evitar conflitos de dependência. Você pode criar um ambiente virtual com o seguinte comando:

   python -m venv diffuman4d_env
   source diffuman4d_env/bin/activate  # Linux/Mac
   diffuman4d_env\Scripts\activate  # Windows
   

2. Clonagem da base de código
   Execute o seguinte comando em um terminal ou linha de comando para baixar o código do Diffuman4D:

   git clone https://github.com/zju3dv/Diffuman4D.git
   cd Diffuman4D
   

3. Instalação de dependências
   As dependências do projeto incluem PyTorch, NumPy, OpenCV e outras bibliotecas. Execute o seguinte comando para instalar todas as dependências:

   pip install -r requirements.txt
   

   Se o suporte à GPU for necessário, certifique-se de instalar uma versão do PyTorch que seja compatível com a versão CUDA, que pode ser acessada por meio do comando pip install torch torchvision Instale a versão mais recente do PyTorch.

4. Download do modelo pré-treinado
   O projeto fornece modelos pré-treinados, que devem ser baixados da página de lançamento do GitHub ou do link especificado na documentação oficial. Após o download, extraia os arquivos do modelo para o diretório raiz do projeto sob o nome pretrained_models Pasta.
5. Verificar a instalação
   Execute o script de amostra para verificar se o ambiente está configurado corretamente:

   python scripts/test_setup.py
   

   Se nenhum erro for relatado, o ambiente foi configurado com êxito.

Uso

1. preparação de dados

• Vídeo de entradaPreparação: Prepare pelo menos dois videoclipes esparsos com resolução recomendada de 720p ou superior, em formato MP4 ou AVI, com movimentos do corpo humano e fundos simples para minimizar as distrações.
• Dados do esqueletoO projeto é codificado usando a condição Skeleton-Plücker e requer dados de esqueleto (que podem ser extraídos via OpenPose ou MediaPipe). Os dados do esqueleto são armazenados no formato JSON e contêm coordenadas de pontos-chave e registros de data e hora.
• Caminho de armazenamentoColoque o vídeo de entrada e os dados do esqueleto no diretório do projeto na pasta data/input certifique-se de que o nome do arquivo corresponda ao arquivo de configuração.

2. geração de vídeos com várias visualizações

• O script de geração é executado para invocar o modelo de difusão espaço-temporal para gerar vídeos consistentes com várias visualizações:

  python scripts/generate_views.py --input_dir data/input --output_dir data/output --model_path pretrained_models/diffuman4d.pth
  

• Descrição do parâmetro:
  • --input_dirCaminho da pasta de entrada para os dados do vídeo e do esqueleto.
  • --output_dirCaminho para salvar o vídeo gerado.
  • --model_pathCaminhos do modelo de pré-treinamento.
• O vídeo gerado será salvo no arquivo data/output com resolução de 1024p e suporte para consistência de várias visualizações.

3. reconstrução do modelo 4DGS

• Os vídeos de entrada e gerados são compostos em modelos 4DGS usando a tecnologia LongVolcap:

  python scripts/reconstruct_4dgs.py --input_dir data/input --generated_dir data/output --output_model models/4dgs_output.ply
  

• Descrição do parâmetro:
  • --input_dirCaminho do vídeo de entrada original.
  • --generated_dirGerar o caminho do vídeo.
  • --output_modelCaminho para o arquivo de modelo 4DGS de saída.
• O modelo gerado suporta renderização em tempo real e pode ser visualizado em um mecanismo de renderização habilitado para 4DGS, como o Unity ou o Unreal Engine.

4. renderização em tempo real

• Importe o modelo 4DGS gerado para o mecanismo de renderização e ajuste o ângulo de visualização para obter a renderização de visualização livre. GPUs de alto desempenho (por exemplo, série NVIDIA RTX) são recomendadas para garantir a suavidade.
• O projeto fornece scripts de amostra render_example.pyA renderização pode ser executada diretamente para visualizar a renderização:

  python scripts/render_example.py --model_path models/4dgs_output.ply
  

5. operação de recursos especiais

• Código Skeleton-PlückerAprimora a consistência espacial e temporal do vídeo gerado com dados de esqueleto e coordenadas de Plücker. O usuário precisa adicionar o seguinte ao arquivo de configuração config.yaml Especifique o caminho dos dados do esqueleto e os parâmetros do ponto de vista de destino no

  skeleton_path: data/input/skeleton.json
  target_views: [0, 45, 90, 135]
  

• renderização de alta fidelidadeOs modelos 4DGS suportam a renderização de trajes complexos e movimentos dinâmicos. Os usuários podem ajustar os parâmetros de iluminação e material durante a renderização para otimizar os efeitos visuais.
• recurso de código abertoO projeto fornece documentação detalhada e conjuntos de dados de exemplo localizados no docs/ responder cantando data/example/ para acesso rápido e fácil.

advertência

• Requisitos de hardwareGPU: O processo de geração e reconstrução requer uma GPU com pelo menos 16 GB de RAM e 8 GB de VRAM. Recomenda-se uma GPU NVIDIA para obter o melhor desempenho.
• Qualidade dos dadosQualidade do vídeo de entrada: A qualidade do vídeo de entrada afeta diretamente os resultados gerados, e é recomendável usar vídeos claros e sem obstruções.
• Suporte à depuraçãoSe forem encontrados problemas, consulte docs/troubleshooting.md ou enviar um problema do GitHub.

cenário do aplicativo

1. Realidade virtual e desenvolvimento de jogos
   O Diffuman4D gera modelos humanos 4D de alta fidelidade para jogos de RV ou criação de personagens virtuais. Os desenvolvedores só precisam fornecer alguns vídeos gravados em um telefone celular para gerar personagens dinâmicos que podem ser renderizados de diferentes pontos de vista, reduzindo o custo de equipamentos profissionais.
2. Produção de filmes e animações
   Os animadores podem usar o Diffuman4D para gerar sequências de movimento de alta qualidade a partir de pequenas quantidades de vídeo para renderizar personagens virtuais em filmes ou animações, especialmente em cenas que exigem figurinos complexos ou movimentos dinâmicos.
3. Pesquisa de captura de movimento
   Os pesquisadores podem usar o Diffuman4D para realizar experimentos de reconstrução 4D e explorar técnicas de modelagem humana em visualizações esparsas. O código-fonte aberto oferece suporte ao desenvolvimento secundário e é adequado para pesquisas acadêmicas.
4. Educação e treinamento
   Na dança ou na educação física, o Diffuman4D gera vídeos de movimentos com várias perspectivas, ajudando os alunos a ver os detalhes dos movimentos de diferentes perspectivas e aumentando a eficácia do ensino e da aprendizagem.

QA

1. Quais formatos de vídeo de entrada são compatíveis com o Diffuman4D?
   Suporta formatos de vídeo comuns, como MP4, AVI, etc. A resolução recomendada é de 720p ou superior, com taxa de quadros de 24 a 30 fps.
2. Quanto tempo leva para gerar um vídeo?
   Depende do desempenho do hardware e da duração do vídeo de entrada. Na NVIDIA RTX 3090, leva cerca de 5 a 10 minutos para gerar um vídeo multivisão de 10 segundos.
3. É necessário equipamento especializado?
   Não. O Diffuman4D foi projetado para gerar modelos de alta qualidade a partir de vídeos comuns de telefones celulares sem a necessidade de equipamentos profissionais de captura de movimento.
4. Como otimizar os resultados gerados?
   Fornece vídeo de entrada nítido, reduz a interferência de fundo e garante dados precisos do esqueleto. O ajuste dos parâmetros do ângulo de visualização no arquivo de configuração melhora a consistência.