Technologie zur Bewegungsentkopplung für die dynamische Steuerung von Film und Fernsehen
Der Rahmen verarbeitet die Bewegungsparameter der Kamera (einschließlich 6DoF-Daten wie Neigungswinkel und Azimut) und das Bewegungsfeld des Objekts (unter Verwendung der Darstellung des optischen 3D-Flusses) separat über eine zweigliedrige neuronale Netzwerkarchitektur. Die JSON-Konfigurationsdatei ermöglicht es dem Benutzer, Folgendes präzise einzustellen: 1) die Kamera, um den Orbit-Surround- oder den First-Person-Antriebsmodus zu übernehmen; 2) die Objektbewegung, um Keyframe-Interpolation oder Physiksimulationsantrieb zu unterstützen. In Tests mit Automobilszenarien kann das System automatisch Körperbewegungen von Kamerazittern trennen, und zwar mit einer Genauigkeit von 89,2%, was die Vid2Vid-Lösung von NVIDIA weit übertrifft. Die Technologie wurde für die Erzeugung von Hintergrundanimationen in mehreren Meta-Universumsprojekten eingesetzt.
Diese Antwort stammt aus dem ArtikelGenXD: Open-Source-Framework zur Erzeugung von Videos beliebiger 3D- und 4D-SzenenDie
