Guia de implantação do MiMo-7B-RL
Requisitos de prontidão ambientalRequer Python 3.8+ e mais de 14 GB de armazenamento; recomenda-se um ambiente virtual.
Etapas detalhadas:
- Criação de um ambiente virtual::
python3 -m venv mimo_env
source mimo_env/bin/activate - Instalação do mecanismo de inferência(Opcional):
- vLLM (recomendado)::
pip install "vllm @ git+https://github.com/XiaomiMiMo/vllm.git@feat_mimo_mtp_stable_073" - SGLang::
python3 -m pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git@main#egg=sglang&subdirectory=python"
- vLLM (recomendado)::
- Modelos para download::
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XiaomiMiMo/MiMo-7B-RL"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True) - Início dos serviços::
python3 -m vllm.entrypoints.api_server --model XiaomiMiMo/MiMo-7B-RL --host 0.0.0.0
tomar nota deRecomendado: GPU NVIDIA A100 40GB, CPU requer pelo menos 32GB de RAM. A primeira execução fará o download automático de aproximadamente 14 GB de arquivos de modelo.
Essa resposta foi extraída do artigoMiMo: um pequeno modelo de código aberto para raciocínio matemático eficiente e geração de códigoO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como implantar o modelo MiMo-7B-RL em um ambiente local?
