Os seguintes requisitos de sistema precisam ser atendidos para instalar o vllm-cli:
- Python 3.11 ou posterior.
- GPUs NVIDIA com suporte a CUDA
- Pacote principal do vLLM instalado
Há dois tipos de montagem:
- Instalação a partir do PyPI(Recomendado para iniciantes):
Executar comandopip install vllm-cli - Compilar e instalar a partir da fonte(para desenvolvedores):
git clone https://github.com/Chen-zexi/vllm-cli.git
cd vllm-cli
pip install -r requirements.txt
pip install -e .
Recomenda-se a instalação em um ambiente virtual para evitar conflitos de dependência. Para cenários que exigem suporte a LoRA, é necessária uma configuração adicional do componente hf-model-tool.
Essa resposta foi extraída do artigovLLM CLI: ferramenta de linha de comando para implantação de modelos de idiomas grandes com o vLLMO
Não pode ser reproduzido sem permissão:Ferramentas de produtividade de IA " Como faço para instalar o vllm-cli e quais requisitos de sistema preciso atender?
Português do Brasil 
简体中文 
English 
日本語 
Deutsch