iPhone 16 ProのNeural Engine演算は35 TOPSに達し、OLMoEのExpert Hybrid Architectureと組み合わせることで、モバイルデバイス上で7Bのパラメトリックモデルを実行することが現実のものとなりました。性能テストによると、M2チップを搭載したiPad Proは、複雑な論理的推論タスクを処理する際に、2023年のクラウドベースのLlama2-13Bモデルレベルに近い性能を発揮します。このハードウェアの進化は、デバイスサイドAIの参入障壁を直接的に下げ、OLMoEのターゲットユーザー層をギークコミュニティから一般的な開発者へと拡大する。
OLMoEプロジェクトは、技術的な変曲点を正確に把握し、その推奨するCore ML変換ツールチェーンは、PyTorchモデルをAppleチップ固有のフォーマットに変換し、推論エネルギー消費を60%削減する。最初の統合事例では、証券APPがOLMoEを組み込んでローカル財務レポート分析を実装した後、ユーザーの滞在時間が22%増加し、ビジネスシナリオの実現可能性が検証された。
この答えは記事から得たものである。Ai2 OLMoE：オフラインで動作するOLMoEモデルに基づくオープンソースのiOS AIアプリについて
無断転載を禁じます：AI生産性ツール " モバイル・デバイスの性能飛躍が、デバイス側のAI導入拡大を生む
