Optimierungsstrategien für Low-End-Android-Geräte
Für Low-End-Android-Geräte mit <2 GB RAM:
- Extreme QuantisierungDie Verwendung der 4-Bit-Quantisierung ermöglicht eine weitere Reduzierung des Modells.
- SpeicherabbildSpeicherplatzbedarf durch MMAP-Modus von MNN reduzieren
- in Blöcken ausführen:: Aufteilung des großen Modells in mehrere Teilgraphen, die separat ausgeführt werden
- Downgrade-Strategie:: Vereinfachtes Modell zur Fähigkeitsumschaltung von automatischen Prüfgeräten
Wichtige Optimierungstechniken:
1. 4-Bit-Quantisierungsbefehl:
. /quantised.out model.mnn quant_model.mnn 4
2. das Laden aus dem Speicher:
Interpreter::createFromFile(..., MNN::Interpreter::ModelType_Disk);
3. automatische Anpassung der Leistung:
Dynamische Anpassung der Berechnungskarte mittels MNN::Interpreter::resizeTensor()
Diese Antwort stammt aus dem ArtikelMNN: Ein leichtgewichtiges und effizientes Deep Learning InferenzsystemDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann man den Betrieb des MNN-Modells auf einfachen Android-Geräten verbessern?
