如何在本地环境中部署 MiMo-7B-RL 模型？

2025-08-23

1.4 K

MiMo-7B-RL 部署指南

环境准备要求：需 Python 3.8+ 和 14GB 以上存储空间，推荐使用虚拟环境。

Creating a Virtual Environment::
python3 -m venv mimo_env source mimo_env/bin/activate
安装推理引擎（任选其一）：
- vLLM (recommended)::pip install "vllm @ git+https://github.com/XiaomiMiMo/vllm.git@feat_mimo_mtp_stable_073"
- SGLang::python3 -m pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git@main#egg=sglang&subdirectory=python"
Download model::
from transformers import AutoModelForCausalLM, AutoTokenizer model_id = "XiaomiMiMo/MiMo-7B-RL" model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True)
Starting services::
python3 -m vllm.entrypoints.api_server --model XiaomiMiMo/MiMo-7B-RL --host 0.0.0.0

take note of：推荐使用 NVIDIA A100 40GB GPU，CPU 需至少 32GB 内存。首次运行会自动下载约 14GB 模型文件。