安装流程详解
- 从GitHub克隆仓库:
git clone https://github.com/NVIDIA/TensorRT-LLM.git
- 进入目录后执行编译:
make build
- Instale as dependências do Python:
pip install -r requirements.txt
验证步骤
realizarpython -c "import tensorrt_llm; print(tensorrt_llm.__version__)"
确认安装成功。如果报错,需检查:
- CUDA工具链是否完整
- GPU驱动版本是否匹配
- Python环境是否隔离
problemas comuns
编译过程可能遇到cuBLAS等依赖问题,建议参考NVIDIA官方文档预装CUDA开发套件。对于多GPU部署,还需配置NCCL通信库。
Essa resposta foi extraída do artigoDeepSeek-R1-FP4: versão otimizada para FP4 da inferência do DeepSeek-R1 25 vezes mais rápidaO