Derzeitige Position:Abb. Anfang " AI-Antworten

Jan-nano如何安装和部署到本地环境？

2025-08-21

272

本地部署完整指南

Jan-nano提供标准化的本地部署流程，主要分为4个关键步骤：

Vorbereitung der Umwelt：需Python 3.8+和Git环境，建议使用隔离的虚拟环境（venv）
Abhängige Installation：通过pip安装transformers和vLLM库以获得最佳推理性能
Modell Download：使用huggingface-cli工具获取官方模型或第三方量化版本（如bartowski的GGUF格式）
Service-Aktivierung：vLLM引擎启动时需注意：
- 基础版使用标准参数--enable-auto-tool-choice
- 128k版本需配置--rope-scaling参数支持扩展上下文

典型部署示例：
vllm serve Menlo/Jan-nano --port 1234 --enable-auto-tool-choice
部署后可通过REST API或Python requests库进行验证测试。特别提醒：需根据显存大小选择适当量化级别，8GB设备推荐Q4_K_M版本。