当前位置：首页 » AI答疑

如何通过vLLM或Ollama快速部署gpt-oss模型？

2025-08-14

172

仓库支持通过vLLM和Ollama快速部署模型：

vLLM部署：
1. 安装vLLM：运行uv pip install --pre vllm==0.10.1+gptoss --extra-index-url https://wheels.vllm.ai/gpt-oss/。
2. 启动服务器：执行vllm serve openai/gpt-oss-20b，提供OpenAI兼容的API服务。
Ollama部署：
1. 拉取模型：运行ollama pull gpt-oss:20b下载模型。
2. 启动模型：执行ollama run gpt-oss:20b，在消费级硬件上运行模型。