UniAPIのサーキット・ブレーカー・メカニズムは、階層的な保護ストラテジーを用いた高可用性の重要な保証である:
- 故障検出各APIサービスの応答状況を常時監視し、継続的な障害を検知した場合に保護機構を起動する。
- 階層処理::
- 3つの障害:5分間のサービス停止
- 4回の失敗:10分間の出場停止
- 9回の失敗:48時間の出場停止
- 自動切り替え一時停止中、システムは自動的に他の利用可能なサービスプロバイダにリクエストをルーティングします。
- 徐々に回復クーリングオフ期間終了後、システムはサービスの復旧を試みます。
このメカニズムは、それを念頭に置いて設計されている:
- 失敗したサービスへのしつこいリクエストによるリソースと時間の浪費を避ける。
- サービス・プロバイダーが回復するまでの時間を確保する。
- 段階的な休止時間による、短期的な変動と長期的な故障に対する保護
- サービス全体の高い可用性を確保する
開発者は手動でサービス障害に対処する必要はなく、システムは自動的に最適な状態に保たれます。これは、UniAPIをエンタープライズクラスのアプリケーションに適している主な特徴の1つです。
この答えは記事から得たものである。UniAPI:大規模モデルのAPI転送をサーバーレスで統合管理について































