Diffuman4D: Generierung originalgetreuer 4D-Ansichten des menschlichen Körpers aus spärlichem Video

Diffuman4D ist ein Projekt, das vom ZJU3DV-Forschungsteam an der Zhejiang-Universität entwickelt wurde und sich auf die Generierung originalgetreuer 4D-Ansichten des menschlichen Körpers aus spärlich vorhandenen Videos konzentriert. Das Projekt kombiniert das räumlich-zeitliche Diffusionsmodell und die 4DGS-Technik (4D Gaussian Splatting), die das Problem löst, dass herkömmliche Methoden nur schwer hochwertige Ansichten mit spärlichen Eingaben erzeugen können. Es unterstützt das Free-View-Rendering in Echtzeit, indem es konsistente Videos mit mehreren Ansichten erzeugt und hochauflösende (1024p) 4D-Modelle durch Kombination der Eingangsvideos rekonstruiert. Das Projekt eignet sich für Szenarien, die eine hochpräzise Erfassung und Darstellung menschlicher Bewegungen erfordern, wie z. B. Virtual Reality und Animationsproduktion. Der Code und das Modell sind auf GitHub als Open-Source verfügbar, und die Forschungsergebnisse wurden von der ICCV 2025 akzeptiert.

Funktionsliste

• Generierung räumlich-zeitlich konsistenter Multivideos aus spärlichen Videos.
• Konstruieren Sie hochrealistische 4DGS-Modelle auf der Grundlage von generierten und eingegebenen Videos.
• Unterstützt Free-View-Rendering in Echtzeit, Rendering von komplexen Kostümen und dynamischen Bewegungen.
• Bietet bedingte Skeleton-Plücker-Kodierung für verbesserte Konsistenz bei der Videoerzeugung.
• 4DGS-Rekonstruktion mit LongVolcap-Technologie zur Optimierung der Rendering-Qualität.
• Offener Quellcode und Modelle für Forscher und Entwickler.

Hilfe verwenden

Einbauverfahren

1. Vorbereitung der Umwelt
   Stellen Sie sicher, dass Python 3.8 oder höher auf Ihrem System installiert ist; eine virtuelle Umgebung wird empfohlen, um Konflikte mit Abhängigkeiten zu vermeiden. Sie können eine virtuelle Umgebung mit dem folgenden Befehl erstellen:

   python -m venv diffuman4d_env
   source diffuman4d_env/bin/activate  # Linux/Mac
   diffuman4d_env\Scripts\activate  # Windows
   

2. Klonen der Codebasis
   Führen Sie den folgenden Befehl in einem Terminal oder einer Befehlszeile aus, um den Diffuman4D-Code herunterzuladen:

   git clone https://github.com/zju3dv/Diffuman4D.git
   cd Diffuman4D
   

3. Installation von Abhängigkeiten
   Zu den Projektabhängigkeiten gehören PyTorch, NumPy, OpenCV und andere Bibliotheken. Führen Sie den folgenden Befehl aus, um alle Abhängigkeiten zu installieren:

   pip install -r requirements.txt
   

   Wenn GPU-Unterstützung erforderlich ist, stellen Sie sicher, dass Sie eine Version von PyTorch installieren, die mit der CUDA-Version kompatibel ist, auf die Sie über die pip install torch torchvision Installieren Sie die neueste Version von PyTorch.

4. Herunterladen des vortrainierten Modells
   Das Projekt bietet bereits trainierte Modelle, die von der GitHub-Veröffentlichungsseite oder dem in der offiziellen Dokumentation angegebenen Link heruntergeladen werden sollten. Nach dem Herunterladen extrahieren Sie die Modelldateien in das Stammverzeichnis des Projekts unter dem pretrained_models Mappe.
5. Überprüfen der Installation
   Führen Sie das Beispielskript aus, um zu prüfen, ob die Umgebung korrekt konfiguriert ist:

   python scripts/test_setup.py
   

   Wenn kein Fehler gemeldet wird, wurde die Umgebung erfolgreich konfiguriert.

Verwendung

1. die Datenaufbereitung

• Eingang VideoMindestens zwei spärliche Videoclips mit einer empfohlenen Auflösung von 720p oder höher im MP4- oder AVI-Format vorbereiten, mit menschlichen Körperbewegungen und einfachen Hintergründen, um die Ablenkung zu minimieren.
• SkelettdatenDas Projekt wird unter Verwendung der Skeleton-Plücker-Bedingung kodiert und erfordert Skelettdaten (die über OpenPose oder MediaPipe extrahiert werden können). Die Skelettdaten werden im JSON-Format gespeichert und enthalten Keypoint-Koordinaten und Zeitstempel.
• Speicherpfad: Legen Sie das Eingabevideo und die Skelettdaten in das Projektverzeichnis im Ordner data/input vergewissern Sie sich, dass der Dateiname mit der Konfigurationsdatei übereinstimmt.

2. die Erstellung von Videos mit mehreren Ansichten

• Das Generierungsskript wird ausgeführt, um das räumlich-zeitliche Diffusionsmodell aufzurufen und konsistente Videos mit mehreren Ansichten zu erzeugen:

  python scripts/generate_views.py --input_dir data/input --output_dir data/output --model_path pretrained_models/diffuman4d.pth
  

• Parameter Beschreibung:
  • --input_dirPfad des Eingabeordners für Video- und Skelettdaten.
  • --output_dirSpeicherpfad für das erzeugte Video.
  • --model_pathPre-training model paths.
• Das erzeugte Video wird im Ordner data/output Ordner mit 1024p-Auflösung und Unterstützung für die Konsistenz mehrerer Ansichten.

3. die Rekonstruktion des 4DGS-Modells

• Die eingegebenen und generierten Videos werden mit Hilfe der LongVolcap-Technologie zu 4DGS-Modellen zusammengesetzt:

  python scripts/reconstruct_4dgs.py --input_dir data/input --generated_dir data/output --output_model models/4dgs_output.ply
  

• Parameter Beschreibung:
  • --input_dirOriginal-Eingangsvideo-Pfad.
  • --generated_dirGenerieren Sie den Videopfad.
  • --output_modelPfad zur ausgegebenen 4DGS-Modelldatei.
• Das generierte Modell unterstützt Echtzeit-Rendering und kann in einer 4DGS-fähigen Rendering-Engine wie Unity oder Unreal Engine angezeigt werden.

4. das Rendering in Echtzeit

• Importieren Sie das generierte 4DGS-Modell in die Rendering-Engine und passen Sie den Blickwinkel an, um ein Free-View-Rendering zu erreichen. Leistungsstarke GPUs (z. B. NVIDIA RTX-Serie) werden empfohlen, um eine flüssige Darstellung zu gewährleisten.
• Das Projekt bietet Beispielskripte render_example.pyDas Rendering kann direkt ausgeführt werden, um das Rendering zu betrachten:

  python scripts/render_example.py --model_path models/4dgs_output.ply
  

5. die Bedienung von Sonderfunktionen

• Skelett-Plücker-CodeVerbesserung der räumlichen und zeitlichen Konsistenz des generierten Videos mit Skelettdaten und Plücker-Koordinaten. Der Benutzer muss Folgendes in die Konfigurationsdatei aufnehmen config.yaml Geben Sie den Skelettdatenpfad und die Parameter für den Ziel-Viewpoint in der

  skeleton_path: data/input/skeleton.json
  target_views: [0, 45, 90, 135]
  

• High Fidelity Rendering4DGS-Modelle unterstützen das Rendering von komplexen Kostümen und dynamischen Bewegungen. Benutzer können während des Renderings Beleuchtungs- und Materialparameter anpassen, um die visuellen Effekte zu optimieren.
• Open-Source-RessourceDas Projekt bietet eine ausführliche Dokumentation und Beispieldatensätze, die in der docs/ im Gesang antworten data/example/ Ordner für schnellen und einfachen Zugriff.

caveat

• Hardware-VoraussetzungDer Generierungs- und Rekonstruktionsprozess erfordert einen Grafikprozessor mit mindestens 16 GB RAM und 8 GB VRAM. Für eine optimale Leistung wird ein NVIDIA-Grafikprozessor empfohlen.
• Qualität der DatenDie Qualität des Eingangsvideos wirkt sich direkt auf die erzeugten Ergebnisse aus, und es wird empfohlen, klare, ungehinderte Videos zu verwenden.
• Unterstützung bei der FehlersucheWenn Probleme auftreten, lesen Sie bitte unter docs/troubleshooting.md oder reichen Sie ein GitHub Issue ein.

Anwendungsszenario

1. Virtuelle Realität und Spieleentwicklung
   Diffuman4D erzeugt naturgetreue 4D-Menschenmodelle für VR-Spiele oder die Erstellung virtueller Charaktere. Entwickler müssen nur einige mit einem Mobiltelefon aufgenommene Videos zur Verfügung stellen, um dynamische Charaktere zu erstellen, die aus verschiedenen Blickwinkeln gerendert werden können, was die Kosten für professionelle Ausrüstung reduziert.
2. Film- und Animationsproduktion
   Animatoren können mit Diffuman4D hochwertige Bewegungsabläufe aus kleinen Mengen von Videomaterial generieren, um virtuelle Charaktere in Filmen oder Animationen zu rendern, insbesondere für Szenen, die komplexe Kostüme oder dynamische Bewegungen erfordern.
3. Motion Capture Forschung
   Forscher können mit Diffuman4D 4D-Rekonstruktionsversuche durchführen und Techniken zur Modellierung von Menschen in spärlichen Ansichten untersuchen. Der offene Quellcode unterstützt die Sekundärentwicklung und ist für die akademische Forschung geeignet.
4. Bildung und Ausbildung
   Im Tanz- oder Sportunterricht erzeugt Diffuman4D multiperspektivische Videos von Bewegungen, die den Schülern helfen, die Details der Bewegungen aus verschiedenen Perspektiven zu sehen und die Effektivität des Lehrens und Lernens zu verbessern.

QA

1. Welche Videoformate werden von Diffuman4D unterstützt?
   Unterstützt gängige Videoformate wie MP4, AVI usw. Empfohlene Auflösung 720p oder höher, Bildrate 24-30fps.
2. Wie lange dauert es, ein Video zu erstellen?
   Hängt von der Hardwareleistung und der Länge des Eingangsvideos ab. Auf der NVIDIA RTX 3090 dauert es etwa 5-10 Minuten, um ein 10-sekündiges Video mit mehreren Ansichten zu erstellen.
3. Ist eine spezielle Ausrüstung erforderlich?
   Nein. Diffuman4D wurde entwickelt, um qualitativ hochwertige Modelle aus gewöhnlichen Handyvideos zu erstellen, ohne dass eine professionelle Bewegungserfassungsausrüstung erforderlich ist.
4. Wie können die generierten Ergebnisse optimiert werden?
   Sorgt für ein klares Eingangsvideo, reduziert Hintergrundstörungen und gewährleistet genaue Skelettdaten. Die Anpassung der Blickwinkelparameter in der Konfigurationsdatei verbessert die Konsistenz.