空間関係の正確さを守るためのプログラム
物体の正しい空間的関係を保証するための体系的なアプローチ:
- 詳細オリエンテーション入力RGB画像と並行して、MiDaSなどのツールで事前に生成された深度マップ(-depthパラメータ)を提供する。
- 制限マークアップGrounded SAMのラベリングフェーズでは、-hierarchy-labelsパラ メータを使ってオブジェクトのオクルージョン関係を宣言する(例:"desk > computer")。
- 事後補正生成された.glbファイルをBlenderにインポートしたら、scripts/auto_arrange.pyを実行してコリジョンボリュームを自動補正します。
- 物理的検証: -physics-checkパラメータを追加し、物体が貫通しないことを確認する剛体シミュレーションテストを有効にします。
技術的には、モデルはトランスフォーマー注目メカニズムを通してオブジェクトの相対位置を維持する。特に高密度のシーンを扱う場合、1) 元の画像の空白領域でオブジェクトを分離する 2) 2回生成した後、手動で合成する 3) -sparsity-factorパラメータ(デフォルト0.5)を使って密度を調整することが推奨される。チームのテストデータによると、奥行き情報と組み合わせた場合、位置精度は92.7%に達する。
この答えは記事から得たものである。MIDI-3D: 1枚の画像からマルチオブジェクトの3Dシーンを高速生成するオープンソースツールについて




























