token级检测深度应用
token级检测是LettuceDetect的特色功能，适用于需要精确定位错误的场景：
Usage
- 初始化时无需特殊设置
- predict()方法中指定
output_format="tokens" - 解析返回的token概率列表
输出示例分析
假设输出为：
[{'token': '69', 'pred': 1, 'prob': 0.95}, {'token': 'million', 'pred': 1, 'prob': 0.95}]
- pred=1表示被判定为幻觉
- prob=0.95表示置信度达95%
- 可精确到具体数字和单位的错误定位
该模式特别适合以下场景：
- 调试阶段需要精确定位错误来源
- 评估系统在特定词汇上的可靠性
- 构建更精细的纠正机制
This answer comes from the articleLettuceDetect: an efficient tool for detecting hallucinations in the RAG systemThe
May not be reproduced without permission:AI productivity tools " 如何利用LettuceDetect的token级检测功能进行精细分析？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil