WhiteLightningは、ONNXフォーマットと複数のアダプテーションスキームを使用し、展開の互換性を確保します:
- ユニファイド・ランタイム全モデルをONNXフォーマット(1MB未満)に統一してエクスポート、ONNX Runtimeをサポートし、クロスプラットフォームで動作。
- 多言語サポートPython、Rust、Swift、Node.js、Dartなどのサンプルを提供(Pythonのインストールが必要など)。
onnxruntime
パッケージ) - ハードウェア適応Raspberry Piなどのデバイスに定量化オプションを提供し、Dockerコンテナ経由でデプロイして環境の一貫性を確保することができます。
- オフライン検証配備前の使用
ort.InferenceSession
入力と出力のフォーマットが一致していることを確認するためのロードモデルテスト
それでも問題が解決しない場合は、デバイスのアーキテクチャがONNX Runtimeをサポートしているかどうかを確認するか、GitHubコミュニティからデバイス固有のデプロイメント・ガイドを入手してください。
この答えは記事から得たものである。WhiteLightning: 軽量なオフラインテキスト分類モデルをワンクリックで生成するオープンソースツールについて