怎样将本地LLM服务改造为兼容OpenAI API的形式？

2025-09-10

1.7 K

Histórico

许多应用是围绕OpenAI API设计的，LlamaEdge提供了将本地LLM封装为标准OpenAI API的方法。

第一步：下载API服务器Wasm
curl -LO https://github.com/second-state/LlamaEdge/releases/latest/download/llama-api-server.wasm
第二步：启动API服务
Execute o comando:wasmedge --dir .:. --env API_KEY=your_api_key llama-api-server.wasm --model-name llama-3.2-1B --prompt-template llama-chat --reverse-prompt "[INST]" --ctx-size 32000
第三步：集成测试
可通过curl测试：curl -X POST http://localhost:8080/v1/chat/completions -H 'accept:application/json' -H 'Content-Type: application/json' -d '{"messages":[{"role":"system", "content": "You are a helpful assistant."}, {"role":"user", "content": "What is the capital of France?"}], "model": "DeepSeek-R1-Distill-Llama-8B"}'

可以将此API服务：1)接入现有Chatbot应用；2)用于LangChain开发；3)作为RAG系统的核心组件；4)替代云服务降低成本。