Light-R1的部署流程主要分为以下步骤:
1. preparação ambiental
系统要求Python 3.8+环境,推荐使用GPU设备(如H800)并配置CUDA支持。
2. 获取模型
- Clonagem de repositórios do GitHub:
git clone https://github.com/Qihoo360/Light-R1.git
- 下载Hugging Face模型权重(32B版本):从获取
3. 安装推理框架
推荐使用vLLM框架:
- Instale a dependência:
pip install vllm
- 启动API服务:
python -m vllm.entrypoints.api_server --model path/to/Light-R1-32B
4. 发送推理请求
通过HTTP接口调用模型(本地端口通常为8000):
curl http://localhost:8000/v1/completions
-H "Content-Type: application/json"
-d '{"model": "Light-R1-32B", "prompt": "<think>Solve 2x + 3 = 7</think>", "max_tokens": 200}'
注意必须包含标签触发长链推理,复杂问题建议设置更大的max_tokens值(如500)
Essa resposta foi extraída do artigoLight-R1: 360 modelo de inferência soberba de código aberto para o domínio matemáticoO