Zentrale Bewertungsindikatoren
- 知识命中率:模型正确调用知识库的比例(理想值>85%)
- 拒绝准确率:对超出知识库范围问题的正确拒绝能力
- 回答精确度:相比基础模型的事实错误率下降幅度
Methodik der Bewertung
- 使用官方
evaluate.py
脚本测试预设问题集 - 构建对抗性问题检验幻觉抑制能力
- passieren (eine Rechnung oder Inspektion etc.)
experiments/
下的对比脚本复现论文实验结果
Empfehlungen zur Leistungsoptimierung
当指标不理想时可:调整知识嵌入强度(–alpha参数)、扩充训练数据(使用Azure OpenAI生成合成数据)、优化知识结构(增加实体间关系标注)。注意评估时应隔离基础模型能力的影响。
Diese Antwort stammt aus dem ArtikelKBLaM: Ein erweitertes Open-Source-Tool zur Einbettung von externem Wissen in große ModelleDie