本地部署Deep Recall需要完成以下关键步骤:
- 环境准备:
- Python 3.8+环境
- NVIDIA驱动(如需GPU加速)
- 至少16GB内存(处理7B模型时)
- 依赖安装:
- 创建隔离虚拟环境:
python -m venv venv
- 安装基础包:
pip install -r requirements.txt
- 开发工具:
pip install -r requirements-dev.txt
- 创建隔离虚拟环境:
- 服务初始化:
- 向量数据库:执行
python scripts/init_vector_db.py
- 配置文件:按需修改
config/
目录下的内存、GPU分配等参数
- 向量数据库:执行
- 验证测试:
- 运行单元测试:
pytest tests/
- 启动demo服务:
python -m deep_recall.api_server
- 运行单元测试:
注意:Windows用户需安装Visual C++ Build Tools,完整指南参考项目CONTRIBUTING.md。
本答案来源于文章《Deep Recall:为大模型提供企业级记忆框架的开源工具》