Analyse von Leistungsengpässen
YOLOE erreicht standardmäßig 102,5 FPS auf T4-GPUs, aber nur 27,2 FPS auf dem iPhone 12. boost strategy:
Die wichtigsten Optimierungsschritte:
- Modell Leichtgewicht:
- ausnutzen
export.pyBei der Konvertierung in das CoreML-Format hinzufügen--halfFreigabe der FP16-Quantisierung - passieren (eine Rechnung oder Inspektion etc.)
onnxslimRedundanz-Operator für die Werkzeugbeschneidung (reduziert die 30%-Größe)
- ausnutzen
- Geräteanpassung:
- Die ANE-Beschleunigung (Apple Neural Engine) wird auf der iOS-Seite aufgerufen:
python export.py --checkpoint yoloe-s.pt --include coreml --ios - Echtzeit-Segmentierung deaktivieren (
--task detect) 2x Geschwindigkeit erhöhen
- Die ANE-Beschleunigung (Apple Neural Engine) wird auf der iOS-Seite aufgerufen:
Optionen:
- Wechsel zu YOLOE-S-Miniaturen (1,8-mal schneller, 51 TP3T weniger genau)
- Einsatz der TensorRT-Engine (NVIDIA Jetson Gerät)
- Ermöglichung von Multithreading (geändert)
predict.pyin torch.set_num_threads(4))
Diese Antwort stammt aus dem ArtikelYOLOE: ein Open-Source-Tool für Videoerkennung und Objektsegmentierung in EchtzeitDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann ich die Geschwindigkeit von YOLOE auf Endgeräten wie dem iPhone optimieren?
