WhiteLightning verwendet das ONNX-Format und mehrere Anpassungsschemata, um Kompatibilität bei der Bereitstellung zu gewährleisten:
- Vereinheitlichte LaufzeitEinheitlicher Export aller Modelle in das ONNX-Format (weniger als 1MB), unterstützt ONNX Runtime für plattformübergreifenden Betrieb.
- Unterstützung mehrerer SprachenBeispiele für Python, Rust, Swift, Node.js, Dart, etc. bereitstellen (z.B. muss Python installiert sein).
onnxruntime
Paket) - Hardware-AnpassungBietet Quantisierungsoptionen für Geräte wie den Raspberry Pi, die über Docker-Container bereitgestellt werden können, um die Konsistenz der Umgebung zu gewährleisten.
- Offline-ÜberprüfungVerwendung vor dem Einsatz
ort.InferenceSession
Tests des Lastmodells, um sicherzustellen, dass Eingabe- und Ausgabeformate übereinstimmen
Wenn Sie immer noch Probleme haben, können Sie prüfen, ob die Gerätearchitektur ONNX Runtime unterstützt, oder gerätespezifische Implementierungsanleitungen über die GitHub-Community erhalten.
Diese Antwort stammt aus dem ArtikelWhiteLightning: ein Open-Source-Tool zur Erstellung von leichtgewichtigen Offline-Textklassifikationsmodellen mit einem KlickDie