Faithfulness指标衡量生成答案对检索上下文的事实忠实度,其计算分为两个关键步骤:
- 陈述提取:使用LLM从答案中提取所有事实陈述
- 事实验证:检查每个陈述是否能被检索上下文支持
具体的计算过程:
- 将支持的陈述数量除以总陈述数得到分数
- 示例中膳食分析的6条陈述有5条被支持,得分为0.83
该指标的重要性体现在:
- 预防幻觉生成:确保答案严格来源于检索内容
- 提高事实准确性:降低错误信息风险
- 优化检索质量:反馈改进信息检索环节
- 建立可信度:增强用户对系统的信任
Ragas通过这一量化指标,为开发者提供了优化生成器的重要参考维度。
本答案来源于文章《Ragas:评估RAG召回QA准确率与答案相关性》