Methodik der Leistungsoptimierung
Die Reaktionsfähigkeit des Modells hängt von der GPU-Leistung des Geräts und der Ressourcenzuweisung des Browsers ab und kann auf folgende Weise verbessert werden:
Leitfaden für den Betrieb
- Konfiguration der Hardware-BeschleunigungChrome-Einstellungen→System→Aktivieren Sie "Hardware-Beschleunigung verwenden".
- Festlegung von RessourcenprioritätenWebGPU-Prozess im Browser-Taskmanager auf hohe Priorität setzen (Umschalt+Esc)
- Optimierung der Berechnungsparametermax_new_tokens: Den Wert des Parameters max_new_tokens reduzieren (kann in zukünftigen Versionen offen sein)
- Programm zur Isolierung der UmweltSchließen Sie andere Webseiten/Plug-ins, die GPU-Ressourcen verbrauchen.
Fortgeschrittenes Programm
Entwickler können die Angabe eines GPU-Geräts erzwingen, indem sie die devicePreference in der transformers.js-Konfiguration ändern, oder OffscreenCanvas für das Hintergrund-Rendering verwenden.
Diese Antwort stammt aus dem ArtikelDeepSeek-R1 WebGPU: Führen Sie DeepSeek R1 1.5B lokal in Ihrem Browser aus!Die
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich die DeepSeek-R1 WebGPU-Inferenzgeschwindigkeit lokal optimieren?
