Die Warehouse-Integration mit vLLM Version 0.10.1+ bietet eine produktionstaugliche Bereitstellungslösung, die OpenAI-kompatible API-Services über vorgefertigte Wheel-Pakete unterstützt. Auf H100GPUs ermöglicht vLLM Inferenzen mit 120 Token pro Sekunde, was dreimal schneller ist als native Transformers. Zur Bereitstellung führen Sie einfach Folgendes ausvllm serveBefehl zum Starten von RESTful-Diensten, Unterstützung der dynamischen Stapelverarbeitung und der kontinuierlichen Stapelverarbeitung (Continuous Batching) und anderer industrietauglicher Funktionen, geeignet für Produktionsumgebungen mit hoher Parallelität.
Diese Antwort stammt aus dem ArtikelSammlung von Skripten und Tutorials zur Feinabstimmung von OpenAI GPT OSS ModellenDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " vLLM-Rahmen für die effiziente Bereitstellung von GPT OSS-Modellen
Deutsch 
简体中文 
English 
日本語 
Português do Brasil