当前位置：首页 » AI答疑

如何在不同部署环境中快速切换HippoRAG的LLM服务？

2025-08-30

1.3 K

多环境适配指南

HippoRAG通过统一接口设计支持灵活切换推理后端，主要操作如下：

云端OpenAI服务：
1. 设置export OPENAI_API_KEY=sk-xxx
2. 初始化时指定llm_model_name='gpt-4o-mini'
本地vLLM部署：
1. 启动服务vllm serve meta-llama/Llama-3.3-70B-Instruct
2. 配置llm_base_url='http://localhost:8000/v1'
混合模式：通过--llm_name和--llm_base_url参数动态选择

关键调试技巧：

测试连接性：运行hipporag.check_llm_connection()
性能调优：
- OpenAI模型建议添加--max_tokens 512限制响应长度
- vLLM模型调整--gpu-memory-utilization 0.9提高吞吐量