安装vllm-cli需要满足以下系统要求:
- Python 3.11或更高版本
- 支持CUDA的NVIDIA GPU
- 已安装vLLM核心包
安装方式有两种:
- 从PyPI安装(推荐初学者):
运行命令pip install vllm-cli
- 从源码编译安装(适合开发者):
git clone https://github.com/Chen-zexi/vllm-cli.git
cd vllm-cli
pip install -r requirements.txt
pip install -e .
建议在虚拟环境中安装以避免依赖冲突。对于需要LoRA支持的场景,还需额外配置hf-model-tool组件。
本答案来源于文章《vLLM CLI:使用 vLLM 部署大语言模型的命令行工具》