Vespa.aiは、特徴検索とモデル推論を10ミリ秒のレイテンシーに圧縮するアーキテクチャにより、レコメンダーシステムのリアルタイム基準を再定義します。このシステムのワークフローは、3つの重要なフェーズで構成されている。バックワードインデックスによる候補セットの迅速なフィルタリング、ユーザーの行動とコンテンツの特徴のロード、そして最終的に統合されたTensorFlowまたはONNXモデルによって実行される数ミリ秒の推論。
技術面では、ディスクIOのボトルネックを回避するため、メモリコンピューティングモードを採用し、ダイナミックスライシングメカニズムにより水平方向の拡張を実現しています。また、独自の階層型ランキング機能により、粗いランキングと細かいランキングの2段階処理をサポートし、確実な効果とコストコントロールを実現しています。ニュースレコメンドシナリオでは、ユーザーのクリックフィードバックを即座にシステムに反映させることができます。Eコマースプラットフォームでは、この機能を使用して「見て見て」というリアルタイム商品レコメンドを実現し、コンバージョン率はバッチモードよりも30%以上高くなっています。
この答えは記事から得たものである。Vespa.ai: 効率的なAI検索・推薦システム構築のためのオープンソースプラットフォームについて
