如何在不同部署环境中快速切换HippoRAG的LLM服务？

2025-08-30

1.3 K

多环境适配指南

HippoRAG通过统一接口设计支持灵活切换推理后端，主要操作如下：

云端OpenAI服务::
1. set upexport OPENAI_API_KEY=sk-xxx
2. 初始化时指定llm_model_name='gpt-4o-mini'
本地vLLM部署::
1. Starting servicesvllm serve meta-llama/Llama-3.3-70B-Instruct
2. configurellm_base_url='http://localhost:8000/v1'
hybrid model: By--llm_namecap (a poem)--llm_base_url参数动态选择

关键调试技巧::

测试连接性：运行hipporag.check_llm_connection()
性能调优：
- OpenAI模型建议添加--max_tokens 512限制响应长度
- vLLM模型调整--gpu-memory-utilization 0.9提高吞吐量