As etapas para instalar o LMCache são as seguintes:
- Preparação do ambienteVerifique se o sistema é Linux, Python ≥ 3.10, CUDA ≥ 12.1 e Conda é recomendado para criar um ambiente virtual.
- armazém de clonesClonar o repositório oficial do LMCache via Git.
- Instalação do LMCacheVersões estáveis ou de pré-lançamento podem ser instaladas via PyPI ou a partir do código-fonte.
- Instalação do vLLMLMCache: o LMCache precisa ser usado com o vLLM, e o vLLM precisa ser instalado separadamente.
Para verificar a instalação, execute o seguinte código Python para verificar o número da versão:
import lmcache
from importlib.metadata import version
print(version("lmcache"))Se o número da versão for exibido (por exemplo, 0.2.2.dev57), a instalação será bem-sucedida. Além disso, o LMCache fornece imagens do Docker que podem ser extraídas e implantadas diretamente.
Essa resposta foi extraída do artigoLMCache: uma ferramenta de otimização de cache de valores-chave para acelerar o raciocínio em grandes modelos de linguagemO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como instalar e verificar o LMCache?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch