Programa para proteger a precisão das relações espaciais
Uma abordagem sistemática para garantir as relações espaciais corretas dos objetos:
- orientação aprofundadaMapa de profundidade: Forneça um mapa de profundidade (parâmetro -depth) em paralelo com a imagem RGB de entrada, pré-gerada usando ferramentas como o MiDaS
- marcação de restriçãoA fase de rotulagem do Grounded SAM declara as relações de oclusão de objetos usando o parâmetro -hierarchy-labels (por exemplo, "desk > computer").
- correção a posterioriDepois que o arquivo .glb gerado for importado para o Blender, execute scripts/auto_arrange.py para corrigir automaticamente o volume de colisão.
- verificação físicaAdicionar o parâmetro -physics-check para ativar testes de simulação de corpo rígido para garantir que os objetos não penetrem.
Tecnicamente, o modelo mantém a posição relativa dos objetos por meio do mecanismo de atenção do transformador. Ao lidar com cenas particularmente densas, recomenda-se 1) separar os objetos com áreas em branco na imagem original 2) combiná-los manualmente depois de gerá-los duas vezes 3) ajustar a densidade usando o parâmetro -sparsity-factor (padrão 0,5). Os dados de teste da equipe mostram que a precisão da posição pode chegar a 92,7% quando combinada com informações de profundidade.
Essa resposta foi extraída do artigoMIDI-3D: uma ferramenta de código aberto para gerar rapidamente cenas 3D com vários objetos a partir de uma única imagemO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como evitar o problema de desalinhamento da posição espacial na geração 3D de vários objetos?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch