Der Status der GPU-Beschleunigung kann anhand der folgenden Schritte überprüft werden:
- Vergewissern Sie sich, dass Sie die Abhängigkeiten auf die NVIDIA GPU Weise installiert haben (onnxruntime-gpu und PyTorch CUDA Version)
- Führen Sie den Befehl verify in der aktivierten virtuellen Umgebung aus:
python -c "import torch; print(f'CUDA available: {torch.cuda.is_available()}')"
- Wenn die Ausgabe
CUDA available: True
Zeigt die erfolgreiche Konfiguration an - Die Laufzeit ist verfügbar über die
nvidia-smi
Befehl zur Beobachtung der GPU-Nutzung
Fehlerbehebung: Wenn der Wert falsch ist, überprüfen Sie bitte die Treiberversion Ihrer Grafikkarte, die Installation des CUDA-Toolkits und ob PyTorch das der CUDA-Version entsprechende Radpaket installiert hat.
Diese Antwort stammt aus dem ArtikelKitten-TTS-Server: Ein selbstentwickelbarer, leichtgewichtiger Text-to-Speech-DienstDie