Die Positionierung und die Kerntechnologien von Orion
Orion ist ein End-to-End (E2E) Open-Source-Framework für autonomes Fahren, das von den Xiaomi Labs entwickelt wurde und dessen zentraler technologischer Durchbruch in der Integration von visuellen Sprachmodellen (VLMs) und generativen Planern liegt. Die Lösung verarbeitet langfristige historische Kontextdaten durch das QT-Former-Modul, kombiniert mit einem groß angelegten Sprachmodell (LLM) für Szenario-Inferenz und gibt schließlich multimodale Trajektorien durch einen generativen Planer aus. Im Vergleich zu herkömmlichen autonomen Fahrsystemen konstruiert Orion auf innovative Weise eine geschlossene End-to-End-Schleife aus semantischen Schlussfolgerungen und Aktionsausführung und erreicht eine hervorragende Leistung von 77,74 DS-Punkten und eine SR-Erfolgsrate von 54,62% auf dem Bench2Drive-Datensatz.
Der Open-Source-Inhalt des Projekts umfasst einen vollständigen Argumentationscode, ein Pre-Training-Modell und ein Profilsystem, das die Entwickler bei der Durchführung von zwei Verifikationsmodi unterstützt: Open-Loop-Evaluation (Test mit festen Daten) und Closed-Loop-Evaluation (CARLA-Simulationstest). Die technische Architektur legt besonderes Augenmerk auf die Fähigkeit zum kausalen Schlussfolgern in komplexen Szenarien, verbessert synchron die Leistung der visuellen Frage und Antwort (VQA) und der Planungsaufgaben durch einen einheitlichen Optimierungsrahmen und löst effektiv das Problem der Entkopplung von semantischem Verständnis und Bewegungssteuerung im traditionellen Schema.
Diese Antwort stammt aus dem ArtikelOrion: Xiaomis quelloffenes End-to-End-Framework für selbstfahrende Autos und deren PlanungDie
