Der Status der GPU-Beschleunigung kann anhand der folgenden Schritte überprüft werden:
- Vergewissern Sie sich, dass die Abhängigkeiten in der NVIDIA GPU Weise installiert wurden:
pip install onnxruntime-gpu
und die entsprechende Version von PyTorch - Führen Sie den Befehl detect in einer aktivierten virtuellen Umgebung aus:
python -c "import torch; print(f'CUDA available: {torch.cuda.is_available()}')"
- Wenn der Ausgang
CUDA available: True
Die Konfiguration ist erfolgreich, wenn - Die eigentliche Ausführung kann durch Öffnen des Task-Managers (Windows) oder mit dem Befehl
nvidia-smi
Befehl (Linux) Beobachten der GPU-Auslastung
Vorbehalte:
- Wenn False angezeigt wird, überprüfen Sie bitte, ob die CUDA-Treiberversion mit der PyTorch-Version übereinstimmt
- NVIDIA Container Toolkit für die Docker-Bereitstellung installiert
- Es kann zu einer Verzögerung bei der Initialisierung des CUDA-Kontexts für den ersten Lauf kommen
Diese Antwort stammt aus dem ArtikelKitten-TTS-Server: Ein selbstentwickelbarer, leichtgewichtiger Text-to-Speech-DienstDie