Ragas提供了两种安装方式:
- PyPI経由でのインストール実施
pip install ragas
- ソースからのインストール走る
pip install git+https://github.com/explodinggradients/ragas
基本使用流程分为三步:
- インポートモジュール:需要导入评估指标和样本类
from ragas import SingleTurnSample
from ragas.metrics import AspectCritic
- テストデータの準備:包含用户输入和系统响应的字典
- 評価者の設定:基于LLM构建评估器实例
评估过程示例:
- 配置GPT-4等LLM作为评估器
- 定义具体的评估指标(如摘要准确性)
- とおす
single_turn_ascore
方法执行评估
この答えは記事から得たものである。ラガス:RAGリコールQA精度と回答の相関性を評価するについて