AIモデルサービス導入時のO&M負担をなくし、可用性の高い本番環境を実現するには？

2025-09-10

1.5 K

ソリューション：SkyServeによるワンクリックモデルのサービタイゼーション

背景: 従来のデプロイメントでは、ロードバランシング、HTTPS証明書、容量の自動拡大・縮小などの複雑なコンポーネントを手動で設定する必要がありました。

配備プロセス
1. YAMLで定義するserviceセグメント構成：
  - replica: 2少なくとも2部
  - ports: 8080サービスポートの指定
  - load_balancer: rrポーリング負荷分散の使用
2. はこびだすsky serve up serve.yaml --name my-service
3. とおすsky serve statusHTTPSアクセス・エンドポイントを取得する
主要なセーフガード・メカニズム
- 自然回復インスタンス・クラッシュから30秒以内にリビルドする。
- ゼロダウンタイム更新YAMLを修正して実行するsky serve updateブルーグリーン展開の実現
- モニターアラームプロメテウス・メトリクス・エクスポージャー・インターフェースの統合
生産に関する推奨事項
- セットアップresources.autostop: false計画外のサービス終了の防止
- 利用するservice.endpoint.timeout妥当なタイムアウトしきい値を設定する
- とおすsky.serve.logsすべてのレプリカログを一元的に収集

効果：実際のテストによると、このソリューションは99.95%のSLA保証を達成し、導入時間は2時間から5分に短縮された。