OLMoE-1B-7B-0125-Instructバージョンは、DolminoハイブリッドトレーニングとTülu3最適化スキームの2つの技術的利点を組み合わせたものです。前者は学習の途中でデータサンプリング戦略を動的に調整し、後者は命令の微調整を通じてタスクの汎化を強化します。この組み合わせによる革新は、AI2標準評価スイートにおけるモデルの総合的なパフォーマンスを35%向上させました。また、コード生成のような特殊なタスクにおける7Bパラメータ仕様の性能は、すでに前年のトップ・クラウドモデルのレベルに近づいている。
特筆すべきは、性能の飛躍がデバイスの互換性を犠牲にするものではないことだ。このモデルはMixture-of-Expertsアーキテクチャを採用しており、サブネットワークモジュールをアクティブにすることでコンピューティングリソースをダイナミックに割り当てることができる。4ビットの量子化とともに、最終的な展開パッケージは3GB未満に抑えられ、モバイルチップ（A17 Pro/Mシリーズ）で毎秒40以上のトークン生成レートを維持している。開発者は、HuggingFaceが提供する基本バージョンか構築バージョンのいずれかを選択でき、前者は汎用シナリオに適しており、後者は対話タスク用に強化されている。
この答えは記事から得たものである。Ai2 OLMoE：オフラインで動作するOLMoEモデルに基づくオープンソースのiOS AIアプリについて
無断転載を禁じます：AI生産性ツール " OLMoEモデルがハイブリッド学習戦略により35%の性能ブレークスルーを達成
