このプロジェクトでは、BM25キーワード検索とFAISSベクトル類似性検索を組み合わせたハイブリッド検索方式を採用しており、単一の検索方式に比べて大きな利点がある。BM25アルゴリズムは正確な用語マッチング処理を担当し、ユーザーのクエリに含まれるコアキーワードを効果的に捕捉する一方、FAISSは密なベクトル検索を通じて意味的関連性を理解し、両者が協調して92%以上の想起率を達成する。この2つが協働して92%以上の想起率を達成している。クロスコーダによって実装されたニューラル・リオーダリング技術は、最初の検索結果の関連性スコアリングを最適化するために検索プロセスにも導入され、最初の5つの検索結果の精度を40%向上させる。
このシステムは、HyDE（Hypothetical Document Embedding）クエリ拡張技術を革新的に統合し、仮説的な回答を生成することでクエリベクトルを再構築し、用語の不一致の問題を効果的に解決します。この技術は、専門的な文書の複雑なクエリに対して平均精度を35%向上させることが示されています。また、すべての検索コンポーネントはGPUで高速化され、16GBのRAMを搭載したデバイスでミリ秒単位で応答するように最適化されています。
この答えは記事から得たものである。DeepSeek-RAG-Chatbot: ローカルで動作する DeepSeek RAG チャットボットについて
