资源优化方案
HippoRAG2通过三个技术创新实现低成本索引:
- 离线批处理模式: Run
python main.py --openie_mode offline
时可降低40%显存占用,特别适合超过100GB的文档集 - 动态分块策略:根据GPU型号自动调整
max_model_len
参数(建议设置为GPU显存的80%) - Hardware Adaptation Program::
- 单卡环境:设置
export CUDA_VISIBLE_DEVICES=0
and enable--skip_graph
跳过多余计算 - 多卡环境:通过
tensor-parallel-size 2
参数实现并行处理
- 单卡环境:设置
实际案例显示,在RTX 4090上索引Wikipedia数据时:
- 传统方法需24小时占用24GB显存
- HippoRAG2离线模式仅需8小时且峰值显存12GB
This answer comes from the articleHippoRAG: A multi-hop knowledge retrieval framework based on long term memoryThe