Scenario requirements
医疗领域对信息准确性要求极高,RAG系统若生成未被文献支持的医疗建议可能造成严重风险。LettuceDetect可成为关键质检关卡。
Deployment program
- pretreatment stage::
- 将医学文献PDF转为结构化文本作为context
- 标注权威来源(如PubMed ID)增强可信度
- 检测策略::
- 开启token级检测模式,严控数字/术语准确性
- 对剂量、禁忌症等关键信息设置0.95置信度阈值
- 流程整合::
- 将工具集成到CI/CD流程,自动拦截高风险回答
- 与人工审核系统联动,对中风险内容(0.7-0.95置信度)发起复核
特别优化
- 训练领域适配模型:使用医疗问答数据微调ModernBERT
- 构建医疗专属停用词表,过滤非专业表述产生的误报
- 输出中添加溯源建议(如”该陈述需要XX文献支持”)
This answer comes from the articleLettuceDetect: an efficient tool for detecting hallucinations in the RAG systemThe