PRAG (Parametric Retrieval-Augmented Generation)は、大規模言語モデル(Large Language Model: LLM)のパラメータ空間に外部知識を直接埋め込むことにより、生成機能を強化するように設計された革新的な検索拡張生成ツールである。PRAGは、データ拡張モジュール、パラメータ学習モジュール、様々なクイズデータセットの性能テスト用の推論モジュールを含む、エンドツーエンドの実装を提供する。
機能一覧
- データ強化モジュールドキュメントをデータ化。
- パラメーター・トレーニング・モジュールLoRAの追加パラメータを訓練して、文書のパラメータ化された表現を生成する。
- 推論モジュール関連文書のパラメータ化された表現をマージし、推論のためにLLMに挿入する。
- 環境インストール詳細な環境インストール手順と依存関係を提供します。
- 自己啓発エンハンス済みデータファイルの直接使用、または自己処理によるデータエンハンスに対応。
- 検索準備ウィキペディアのデータセットをダウンロードし、検索の準備をします。
ヘルプの使用
環境インストール
- 仮想環境を作成し、起動する：
conda create -n prag python=3.10.4
conda activate prag
- 必要な依存関係をインストールする：
pip install torch==2.1.0
pip install -r requirements.txt
- 修正
src/root_dir_path.py正鵠を得るROOT_DIR変数は、PRAGが保存されているフォルダのアドレスである。
データ強化
- 事前にエンハンスされたデータファイルを使用する：
tar -xzvf data_aug.tar.gz
- 自己処理によるデータ強化：
- ウィキペディアのデータセットをダウンロードする：
bash
mkdir -p data/dpr
wget -O data/dpr/psgs_w100.tsv.gz https://dl.fbaipublicfiles.com/dpr/wikipedia_split/psgs_w100.tsv.gz
- 意図する BM25 取得した：
bash
# 具体步骤请参考项目文档
- ウィキペディアのデータセットをダウンロードする：
パラメトリックトレーニング
- 文書のパラメータ化された表現を生成する：
# 具体步骤请参考项目文档
推論
- 関連文書のパラメータ化された表現がマージされ、推論のためにLLMに挿入される：
# 具体步骤请参考项目文档
