MiMo-7Bは、シャオミが開発したオープンソースの大規模言語モデルシリーズであり、そのコアコンピタンスは、数学的推論とコード生成という2つの主要な専門分野に集中することにある。このモデルは70億パラメータのアーキテクチャを採用し、複数の技術的最適化により、より大規模なモデルに匹敵する性能を達成している。中核となる革新的技術には、事前学習データの的を絞った最適化、複数トークン予測（MTP）技術、強化学習戦略の適用などがある。数学コンペティションのデータセットAIMEとMATH-500において、MiMo-7B-RLバージョンはそれぞれ68.2%と95.8%のPass@1スコアを達成し、同規模モデルの平均を大きく上回っています。
技術的な実装としては、基本バージョン（Base）、教師あり微調整バージョン（SFT）、基本強化バージョン（RL-Zero）、高度強化バージョン（RL）の4つのバージョンの勾配を提供する。このうち、RLバージョンは、13万問の数学とプログラミングの問題によって集中的に学習され、OpenAI o1-miniレベルに近いパフォーマンスを持っている。モデルファイルは約14GBで、Hugging FaceとModelScopeプラットフォームのダウンロードをサポートし、開発者に完全なオープンソースソリューションを提供します。
この答えは記事から得たものである。MiMo: 効率的な数学的推論とコード生成のための小さなオープンソースモデルについて
