背景
従来の検索強化型生成（RAG）手法では、外部文書をリアルタイムで検索する必要があり、計算コストがかかるだけでなく、文脈長の制限によりモデルの推論能力にも影響する。
コアソリューション
PRAGは次のような革新的なデザインでこの問題を解決している：
- パラメトリック知識埋め込みリアルタイム検索の代替として、外部知識をLoRAパラメータモジュールに直接エンコードする。
- 3段階構造::
- データ強化モジュールがドキュメントを構造化されたトレーニングデータに変換
- パラメータ学習モジュールは、文書のベクトル化表現を生成する。
- 推論中の複数の文書パラメータの動的融合
実施手順
- 事前にトレーニングされたモデルの重みのインストール（LLAMA-2など）
- 利用する
psgs_w100.tsv.gzなどの標準的なデータセットをパラメータ・トレーニングに使用する。 - BM25アルゴリズムによる検索インデックス（オプション）
効果の最適化
実証実験によれば、NQやTriviaQAなどのベンチマークデータセットにおいて、この手法は推論待ち時間を40%短縮し、精度を15-20%向上させた。
この答えは記事から得たものである。PRAG: Q&Aシステムのパフォーマンス向上のためのパラメトリック検索拡張生成ツールについて
