LMCacheをインストールする手順は以下の通り:
- 環境を整えるシステムがLinux、Python≥3.10、CUDA≥12.1であることを確認し、仮想環境を作成するためにCondaを推奨します。
- クローン倉庫LMCacheの公式リポジトリをGitでクローンする。
- LMCacheのインストール安定版やプレリリース版はPyPIやソースからインストールできます。
- vLLMのインストールLMCacheはvLLMとともに使用する必要があり、vLLMは別途インストールする必要がある。
インストールを確認するには、以下のPythonコードを実行してバージョン番号をチェックする:
import lmcache
from importlib.metadata import version
print(version("lmcache"))
バージョン番号が出力されれば(例えば0.2.2.dev57)、インストールは成功だ。さらに、LMCacheはDockerイメージを提供しており、これを直接プルしてデプロイすることもできる。
この答えは記事から得たものである。LMCache:大規模言語モデルの推論を高速化するキーバリューキャッシュ最適化ツールについて