MiMo-7B-RL 部署指南
环境准备要求：需 Python 3.8+ 和 14GB 以上存储空间，推荐使用虚拟环境。
详细步骤：
- 创建虚拟环境：
python3 -m venv mimo_env
source mimo_env/bin/activate - 安装推理引擎（任选其一）：
- vLLM（推荐）：
pip install "vllm @ git+https://github.com/XiaomiMiMo/vllm.git@feat_mimo_mtp_stable_073" - SGLang：
python3 -m pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git@main#egg=sglang&subdirectory=python"
- vLLM（推荐）：
- 下载模型：
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XiaomiMiMo/MiMo-7B-RL"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True) - 启动服务：
python3 -m vllm.entrypoints.api_server --model XiaomiMiMo/MiMo-7B-RL --host 0.0.0.0
注意：推荐使用 NVIDIA A100 40GB GPU，CPU 需至少 32GB 内存。首次运行会自动下载约 14GB 模型文件。
本答案来源于文章《MiMo：高效数学推理与代码生成的小型开源模型》
未经允许不得转载：AI生产力工具 » 如何在本地环境中部署 MiMo-7B-RL 模型？
简体中文 
English 
日本語 
Deutsch 
Português do Brasil