可通过以下步骤验证 GPU 加速状态:
- 确保已按 NVIDIA GPU 方式安装依赖(onnxruntime-gpu 和 PyTorch CUDA 版本)
- 在激活的虚拟环境中执行验证命令:
python -c "import torch; print(f'CUDA available: {torch.cuda.is_available()}')"
- 若输出
CUDA available: True
表示配置成功 - 运行时可使用
nvidia-smi
命令观察 GPU 使用率
常见问题排查:若返回 False,请检查显卡驱动版本、CUDA 工具包安装情况,以及 PyTorch 是否安装了对应 CUDA 版本的 wheel 包。
本答案来源于文章《Kitten-TTS-Server:一个可自行部署的轻量级文本转语音服务》