基础环境要求
- オペレーティングシステム:Linux/Windows(推荐Ubuntu 20.04+)
- ソフトウェア依存:Python 3.8+、Git、PyTorch 2.0+、Transformers库
- 账号权限:HuggingFace账户(用于下载Llama等模型)
ステップバイステップのインストールガイド
- クローン倉庫
git clone https://github.com/microsoft/KBLaM.git
- コアの依存関係をインストールします:
pip install -e .
- 配置模型权限:
huggingface-cli login
(需输入token) - インストールの確認:実行
python -m kblam.test
推奨ハードウェア構成
小规模测试:RTX 3090(24GB显存)可处理100MB级知识库;生产部署:推荐A100 80GB处理千万级知识条目。若仅用CPU运算,响应时间可能延长5-8倍。
この答えは記事から得たものである。KBLaM:大規模モデルに外部知識を埋め込むためのオープンソース拡張ツールについて