Integrationslösungen für die Automatisierung
Empfohlener Ansatz für die Integration von vllm-cli in automatisierte Verteilungsprozesse:
- Aufruf im Befehlszeilenmodus:Verwenden Sie vllm-cli serve direkt im Skript, um den Dienst zu starten, und beurteilen Sie das Ergebnis anhand des Exit-Codes
- Statusprüfung:Führen Sie regelmäßig vllm-cli status aus, um den Status des Dienstes zu überwachen
- Log-Verarbeitung:Umleitung der Protokollausgabe in eine Datei zur Analyse (standardmäßig in ~/.config/vllm-cli/ gespeichert)
- Konfigurationsmanagement:Speichern Sie die optimierten Parameter als benutzerdefiniertes Profil vor, das über -profile aufgerufen wird.
- Behandlung von Ausnahmen:Implementierung eines Mechanismus zum Neustart von Diensten in Verbindung mit dem Befehl stop
Beispiel für eine typische CI/CD-Integration:
1. nach Abschluss der Trainingsphase vllm-cli models aufrufen, um die Liste der Modelle zu aktualisieren
2. vordefinierte prod-Konfigurationen werden während der Bereitstellungsphase mit dem Parameter -profile geladen
3. die Verifizierungsphase, in der die API-Endpunkte über curl getestet werden
Die Überwachungsphase analysiert die JSON-Ausgabe von vllm-cli status, um einen Alarm auszulösen.
Beachten Sie, dass verschiedene Umgebungen Umgebungsvariablen wie CUDA_VISIBLE_DEVICES anpassen müssen.
Diese Antwort stammt aus dem ArtikelvLLM CLI: Kommandozeilen-Tool für die Bereitstellung großer Sprachmodelle mit vLLMDie
Deutsch 
简体中文 
English 
日本語 
Português do Brasil