Lösung: Nutzung von SkyServe zur Bereitstellung von Modelldienstleistungen mit einem Klick
Hintergrund: Bei herkömmlichen Bereitstellungen müssen komplexe Komponenten wie Lastenausgleich, HTTPS-Zertifikate und automatische Skalierung manuell konfiguriert werden.
- Prozess der Bereitstellung
- In YAML definiert
serviceAbschnittskonfiguration:replica: 2Mindestens zwei Kopien erstellenports: 8080Geben Sie den Service-Port an.load_balancer: rrVerwendung von Round-Robin-Lastverteilung
- vollziehen
sky serve up serve.yaml --name my-service - passieren (eine Rechnung oder Inspektion etc.)
sky serve statusHTTPS-Zugriffsendpunkt abrufen
- In YAML definiert
- Wichtiger Schutzmechanismus
- SpontanheilungInstanz innerhalb von 30 Sekunden nach Ausfall wiederhergestellt
- Updates ohne AusfallzeitenFühren Sie nach dem Ändern der YAML-Datei Folgendes aus:
sky serve updateBlau-Grün-Bereitstellung implementieren - ÜberwachungsalarmeIntegrierte Prometheus-Metriken-Exposure-Schnittstelle
- Produktionsempfehlungen
- aufstellen
resources.autostop: falseVerhindern einer unerwarteten Beendigung des Dienstes - ausnutzen
service.endpoint.timeoutKonfigurieren Sie geeignete Zeitüberschreitungsgrenzwerte. - passieren (eine Rechnung oder Inspektion etc.)
sky.serve.logsZentrale Erfassung aller Backup-Protokolle
- aufstellen
Wirkung: Praktische Tests zeigen, dass diese Lösung eine Service Level Agreement (SLA)-Garantie von 99,951 % Verfügbarkeit bietet und gleichzeitig die Bereitstellungszeit von zwei Stunden auf fünf Minuten reduziert.
Diese Antwort stammt aus dem ArtikelSkyPilot: ein Open-Source-Framework für die effiziente Ausführung von KI- und Batch-Aufgaben in jeder CloudDie
Darf nicht ohne Genehmigung vervielfältigt werden:KI-Produktivitätswerkzeuge " Wie lässt sich der O&M-Aufwand bei der Bereitstellung von KI-Modelldiensten eliminieren und eine hochverfügbare Produktionsumgebung erreichen?
