安装准备
安装LitServe前需要确保系统满足以下条件:
- Python 3.8或更高版本
- 建议使用虚拟环境隔离依赖
- Linux/Windows/MacOS系统均可
详细安装步骤
- 创建虚拟环境:
Linux/Mac:
python -m venv venv && source venv/bin/activate
Windows:
python -m venv venv && venvScriptsactivate
- 安装稳定版:
pip install litserve
- (可选)安装开发版:
pip install git+https://github.com/Lightning-AI/litserve.git@main
验证安装
执行以下命令检查是否成功安装:
python -c "import litserve; print(litserve.__version__)"
成功安装会显示版本号,如”0.1.0″。
可选依赖安装
如需GPU加速支持,需额外安装框架的GPU版本,例如PyTorch的CUDA版本:
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu121
本答案来源于文章《LitServe:快速部署企业级通用AI模型推理服务》