可通过以下步骤验证GPU加速状态:
- 确保已按NVIDIA GPU方式安装依赖:
pip install onnxruntime-gpu
和对应版本的PyTorch - 在激活的虚拟环境中运行检测命令:
python -c "import torch; print(f'CUDA available: {torch.cuda.is_available()}')"
- 当输出
CUDA available: True
时表示配置成功 - 实际运行时可打开任务管理器(Windows)或使用
nvidia-smi
命令(Linux)观察GPU利用率
Advertências:
- 若显示False,请检查CUDA驱动版本与PyTorch版本是否匹配
- Docker部署需确认已安装NVIDIA Container Toolkit
- 首次运行可能会有CUDA上下文初始化延迟
Essa resposta foi extraída do artigoKitten-TTS-Server: um serviço de conversão de texto em fala leve e autoimplantávelO