コア評価指標
- 知识命中率:模型正确调用知识库的比例(理想值>85%)
- 拒绝准确率:对超出知识库范围问题的正确拒绝能力
- 回答精确度:相比基础模型的事实错误率下降幅度
評価方法
- 使用官方
evaluate.py
脚本测试预设问题集 - 构建对抗性问题检验幻觉抑制能力
- とおす
experiments/
下的对比脚本复现论文实验结果
パフォーマンス最適化の提案
当指标不理想时可:调整知识嵌入强度(–alpha参数)、扩充训练数据(使用Azure OpenAI生成合成数据)、优化知识结构(增加实体间关系标注)。注意评估时应隔离基础模型能力的影响。
この答えは記事から得たものである。KBLaM:大規模モデルに外部知識を埋め込むためのオープンソース拡張ツールについて