Faithfulness指标衡量生成答案对检索上下文的事实忠实度,其计算分为两个关键步骤:
- 陈述提取:使用LLM从答案中提取所有事实陈述
- 事实验证:检查每个陈述是否能被检索上下文支持
具体的计算过程:
- 将支持的陈述数量除以总陈述数得到分数
- 示例中膳食分析的6条陈述有5条被支持,得分为0.83
该指标的重要性体现在:
- 预防Hallucination generation:确保答案严格来源于检索内容
- raiseFactual accuracy:降低错误信息风险
- make superior检索质量:反馈改进信息检索环节
- build updegree of credibility:增强用户对系统的信任
Ragas通过这一量化指标,为开发者提供了优化生成器的重要参考维度。
This answer comes from the articleRagas: assessing RAG recall QA accuracy and answer correlationThe