基础环境要求
- 操作系统:Linux/Windows(推荐Ubuntu 20.04+)
- 软件依赖:Python 3.8+、Git、PyTorch 2.0+、Transformers库
- 账号权限:HuggingFace账户(用于下载Llama等模型)
分步安装指南
- 克隆仓库:
git clone https://github.com/microsoft/KBLaM.git
- 安装核心依赖:
pip install -e .
- 配置模型权限:
huggingface-cli login
(需输入token) - 验证安装:运行
python -m kblam.test
硬件配置建议
小规模测试:RTX 3090(24GB显存)可处理100MB级知识库;生产部署:推荐A100 80GB处理千万级知识条目。若仅用CPU运算,响应时间可能延长5-8倍。
本答案来源于文章《KBLaM:为大模型嵌入外部知识的开源增强工具》