Vercel AI Gatewayのインテリジェントな障害プロビジョニングは、AIベンダーのAPIを直接使用するのとは異なる主な特徴の1つである。従来のモデルでは、開発者がAIモデルのAPIを直接呼び出すと、そのサービスに障害が発生した場合、アプリケーションは開発者のエラー処理メカニズムに全面的に依存することになる。一方、AI Gatewayには自動フェイルオーバー機能が組み込まれており、事前に設定されたポリシーに基づいて、プライマリ・モデルのサービスが利用できないことを検出するとすぐに、リクエストを代替モデルにシームレスに切り替える。
このメカニズムは次のように動作します：ゲートウェイは、リアルタイムですべてのアップストリームモデルの健康状態を監視し、開発者によって設定されたバックアップ優先度（コスト、パフォーマンスなどの基準に基づいて設定可能）に従って問題が検出されるとすぐにトラフィックを切り替えます。例えば、メインモデルであるOpenAIのGPT-4がサービス停止に陥った場合、システムは自動的にAnthropicのClaudeモデルにリクエストを切り替えることができます。これにより、手動で緊急障害に対処する際の遅延を回避できるだけでなく、エンドユーザーがサービスの切り替えをほとんど認識することなく、予期せぬダウンタイムの影響を最小限に抑えることができます。
この答えは記事から得たものである。Vercel AI Gateway：AIアプリケーションのリクエストを管理・最適化するゲートウェイについて
日本語 
简体中文 
English 
Deutsch 
Português do Brasil