Smart Body Verzögerungsoptimierungsprogramm
Die Lösung der Latenz von Funktionsaufrufen erfordert einen Optimierungsansatz auf Systemebene:
- Optimierung der Infrastruktur::
- Verwenden Sie die Funktion Kontinuierliche Stapelverarbeitung von vLLM:
vllm serve --enforce-eager --max-num-seqs=128 - Aktivieren der Triton Inference Server-Beschleunigung bei der Bereitstellung
- Registrierung lokaler Caches für HF-Tools (z. B. SQLite-Speicher-API-Antworten)
- Verwenden Sie die Funktion Kontinuierliche Stapelverarbeitung von vLLM:
- Optimierung der Anruferstrategie::
- Vorinstallierte Beschreibungen häufig verwendeter Werkzeuge:
model.register_tool('weather_api', schema=weather_schema, cache=True) - Einrichtung eines Timeout-Fallback-Mechanismus: Wenn die Antwort des Tools 2 Sekunden lang ausbleibt, schaltet es automatisch auf die Modellschätzung um.
- Stapelverarbeitung von parallelen Anfragen: Verwendung
asyncio.gatherZusammenführung mehrerer Werkzeugaufrufe
- Vorinstallierte Beschreibungen häufig verwendeter Werkzeuge:
- Architektur Entwurfsoptimierung::
- Einfache Werkzeuge
non-thinkingModus Schnellreaktion - Komplexe Prozesse nutzen
thinking+cotModell der schrittweisen Ausführung - Aktivieren Sie die Streaming-Ausgabe für zeitkritische Aufgaben:
for chunk in model.stream_chat(tokenizer, '实时股票分析'): print(chunk)
- Einfache Werkzeuge
Nach Tests kann die oben genannte Methode die durchschnittliche Antwortzeit von E-Commerce-Kundendienstrobotern von 3,2 Sekunden auf 0,8 Sekunden reduzieren, wobei die Latenzzeit des Tools um 76% verringert wird. Es wird empfohlen, mit Prometheus zusammenzuarbeiten, um die in jeder Sitzung verbrauchte Zeit zu überwachen.
Diese Antwort stammt aus dem ArtikelGLM-4.5: Open Source Multimodale Großmodelle zur Unterstützung intelligenter Schlussfolgerungen und CodegenerierungDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie kann das Latenzproblem der GLM-4-5-Funktionsaufrufe bei der Entwicklung intelligenter Körper überwunden werden?
