GPUアクセラレーションの状態は、以下の手順で確認できます:
- NVIDIA GPUの方法(onnxruntime-gpuとPyTorch CUDAバージョン)で依存関係をインストールしたことを確認してください。
- 起動した仮想環境で verify コマンドを実行します:
python -c "import torch; print(f'CUDA available: {torch.cuda.is_available()}')"
- もし出力が
CUDA available: True
設定に成功したことを示す - ランタイムは
nvidia-smi
GPUの使用状況を観察するコマンド
Troubleshooting: Falseを返す場合は、グラフィックカードのドライバのバージョン、CUDAツールキットのインストール、PyTorchがCUDAバージョンに対応するwheelパッケージをインストールしているかどうかを確認してください。
この答えは記事から得たものである。Kitten-TTS-Server: セルフデプロイ可能な軽量音声合成サービスについて