MiMo-7B-RL Leitfaden für den Einsatz
Anforderungen an die ökologische BereitschaftErfordert Python 3.8+ und mehr als 14 GB Speicherplatz; eine virtuelle Umgebung wird empfohlen.
Detaillierte Schritte:
- Erstellen einer virtuellen Umgebung::
python3 -m venv mimo_env
source mimo_env/bin/activate - Installation der Inferenzmaschine(fakultativ):
- vLLM (empfohlen)::
pip install "vllm @ git+https://github.com/XiaomiMiMo/vllm.git@feat_mimo_mtp_stable_073" - SGLang::
python3 -m pip install "sglang[all] @ git+https://github.com/sgl-project/sglang.git@main#egg=sglang&subdirectory=python"
- vLLM (empfohlen)::
- Modelle herunterladen::
from transformers import AutoModelForCausalLM, AutoTokenizer
model_id = "XiaomiMiMo/MiMo-7B-RL"
model = AutoModelForCausalLM.from_pretrained(model_id, trust_remote_code=True) - Neue Dienste::
python3 -m vllm.entrypoints.api_server --model XiaomiMiMo/MiMo-7B-RL --host 0.0.0.0
zur Kenntnis nehmenEmpfohlen: NVIDIA A100 40GB GPU, CPU benötigt mindestens 32GB RAM. Beim ersten Durchlauf werden automatisch etwa 14 GB an Modelldateien heruntergeladen.
Diese Antwort stammt aus dem ArtikelMiMo: ein kleines Open-Source-Modell für effiziente mathematische Schlussfolgerungen und CodegenerierungDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann das Modell MiMo-7B-RL in einer lokalen Umgebung eingesetzt werden?
