Bahnbrechende dynamische interaktive Erfahrung
Das interaktive System von Genie 3 beinhaltet drei wichtige technologische Innovationen: erstens eine autoregressive Rendering-Pipeline mit 24 Bildern pro Sekunde, die die Kohärenz des Bildschirms durch einen Mechanismus der räumlichen Aufmerksamkeit aufrechterhält; zweitens ein Modul zur Vorhersage von Verhaltensreaktionen, das Befehle wie "Drehen Sie sich um 30 Grad nach links" versteht und die darauf folgenden 300 Bilder berechnet; und drittens eine Szenenspeicher-Matrix, die eine dem Hippocampus des Gehirns ähnliche neuronale Architektur verwendet. Schließlich sorgt die Szenenspeicher-Matrix, die eine dem Hippocampus des Gehirns ähnliche neuronale Architektur nutzt, dafür, dass die Objekte der Szene in ihrem ursprünglichen Zustand bleiben, wenn der Benutzer nach 5 Minuten Entfernung vom ursprünglichen Bereich zurückkehrt (getestet mit einer Genauigkeit von 92%). Im Vergleich zu Runway und anderen Tools zur Videogenerierung wird die Interaktionsverzögerung innerhalb von 80 ms gesteuert und erreicht damit den Standard eines Spielerlebnisses. Dies ist ein Hardware-Durchbruch, der durch den speziellen Tensor-Verarbeitungschip TPUv5 erreicht wurde.
Diese Antwort stammt aus dem ArtikelGenie 3: Generierung virtueller Welten, mit denen man in Echtzeit interagieren kannDie
