Ragas提供了两种安装方式:
- 通过PyPI安装:执行
pip install ragas
- 从源码安装:运行
pip install git+https://github.com/explodinggradients/ragas
基本使用流程分为三步:
- 导入模块:需要导入评估指标和样本类
from ragas import SingleTurnSample
from ragas.metrics import AspectCritic
- 准备测试数据:包含用户输入和系统响应的字典
- 设置评估器:基于LLM构建评估器实例
评估过程示例:
- 配置GPT-4等LLM作为评估器
- 定义具体的评估指标(如摘要准确性)
- 通过
single_turn_ascore
方法执行评估
本答案来源于文章《Ragas:评估RAG召回QA准确率与答案相关性》