token级检测深度应用
token级检测是LettuceDetect的特色功能,适用于需要精确定位错误的场景:
Uso
- 初始化时无需特殊设置
- predict()方法中指定
output_format="tokens"
- 解析返回的token概率列表
输出示例分析
假设输出为:
[{'token': '69', 'pred': 1, 'prob': 0.95}, {'token': 'million', 'pred': 1, 'prob': 0.95}]
- pred=1表示被判定为幻觉
- prob=0.95表示置信度达95%
- 可精确到具体数字和单位的错误定位
该模式特别适合以下场景:
- 调试阶段需要精确定位错误来源
- 评估系统在特定词汇上的可靠性
- 构建更精细的纠正机制
Essa resposta foi extraída do artigoLettuceDetect: uma ferramenta eficiente para detectar alucinações no sistema RAGO