基本的な環境要件
- オペレーティングシステムLinux/Windows(Ubuntu 20.04+を推奨)
- ソフトウェア依存Python 3.8以上、Git、PyTorch 2.0以上、Transformersライブラリ
- アカウント権限HuggingFaceアカウント(Llamaなどのモデルをダウンロードするために使用)
ステップバイステップのインストールガイド
- クローン倉庫
git clone https://github.com/microsoft/KBLaM.git - コアの依存関係をインストールします:
pip install -e . - モデル権限の設定:
huggingface-cli login(トークンを入力する必要があります) - インストールの確認:実行
python -m kblam.test
推奨ハードウェア構成
小規模テスト:RTX 3090(24GB ビデオメモリ)は100MB規模のナレッジベースを処理可能;生産展開:A100 80GBを推奨し、数千万件の知識項目を処理します。CPUのみで演算する場合、応答時間が5~8倍長くなる可能性があります。
この答えは記事から得たものである。KBLaM:大規模モデルに外部知識を埋め込むためのオープンソース拡張ツールについて































