Innovatives Design für vereinfachte Eingabe
Während herkömmliche Blickvorhersagesysteme in der Regel die Fusion von Sensordaten aus mehreren Quellen erfordern, ermöglicht Gaze-LLE eine durchgängige Vorhersage unter Verwendung von RGB-Bildern durch die leistungsstarken Darstellungsfähigkeiten von vortrainierten visuellen Codierern. Es wird gezeigt, dass Basismodelle wie DINOv2 bereits implizit die Tiefe der Szene und die menschliche Haltung erlernen, was zusätzliche Eingabemodalitäten zu einer nicht notwendigen Option macht.
Dieses technische Merkmal bringt drei praktische Vorteile mit sich: Es verringert die Hardwareabhängigkeit, die von Verbraucherkameras erfüllt werden kann; es vereinfacht den Datenverarbeitungsfluss, indem es das Problem des Abgleichs von Informationen aus mehreren Quellen vermeidet; und es verbessert die Robustheit des Systems, indem es das Scheitern der Vorhersage aufgrund des Fehlens von Daten aus einer bestimmten Modalität verringert. In Benchmarks wie VideoAttentionTarget erzielt dieses einfache Design eine bessere Genauigkeit als multimodale Ansätze.
Diese Antwort stammt aus dem ArtikelGaze-LLE: Zielvorhersage-Tool für Personenblicke in VideosDie
