Leichtgewichtige Lösungen für den Einsatz von Edge-Geräten
Für Edge-Geräte wie den Raspberry Pi kann eine ressourcenschonende Bereitstellung mit dem folgenden Schema erreicht werden:
- Quantifizierung des Modells:Verwenden Sie PyTorch's torch.quantisation, um FP32-Modelle in das INT8-Format zu konvertieren, die Modellgröße kann um das 4-fache reduziert werden
- Maßgeschneiderte Strategie:Die Verringerung der Eingangsauflösung von 416 x 416 auf 320 x 320 reduziert 351 TP3T-Berechnungen
- Alternativen:Wenn das Gerät ViT nicht unterstützt, versuchen Sie, den Decoder so umzuschreiben, dass er ein leichtes Backbone wie MobileNetV3 verwendet.
- Speicheroptimierung:Aktivierung des Checkpointing-Mechanismus von PyTorch zur selektiven Beibehaltung von Zwischenergebnissen während der Vorwärtspropagierung
Daten aus der realen Welt: Der Speicherbedarf des quantisierten ViT-B-Modells wurde auf dem Jetson Xavier NX von 1,2 GB auf 380 MB reduziert. Eine weitere Optimierung mit TensorRT wird empfohlen, wodurch die Bildrate von 3 FPS auf 8 FPS erhöht werden kann. Bei Geräten mit sehr niedrigem Profil sollte die Leistung ausgeglichen werden, indem nur kritische Bilder (2-3 Bilder pro Sekunde) verarbeitet werden.
Diese Antwort stammt aus dem ArtikelGaze-LLE: Zielvorhersage-Tool für Personenblicke in VideosDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann Gaze-LLE auf ressourcenbeschränkten Edge-Geräten eingesetzt werden?
Deutsch 
简体中文 
English 
日本語 
Português do Brasil