Langfuse采用三级评估体系：
核心评估维度
- Basic indicators：API响应延迟/Token消耗/错误率
- Quality of content::
- 事实准确性（基于数据集比对）
- 流畅度（需自定义评估函数）
- 业务指标：客户满意度评分/转化率等（需对接业务系统）
自动化评估实施
- 标注数据集：在Datasets页面标注expected output和评估标准
- 规则评估::
- utilization
str.contains()等基础匹配规则 - 示例：检测是否包含敏感词
- utilization
- Model Evaluation::
- 调用GPT-4作为评审员（需额外配置）
- Example:
evaluator.run("是否符合医疗行业规范？")
- Visualization of results::
- 在Dashboard查看指标趋势图
- 设置Slack告警（当accuracy<0.8时触发）
推荐结合人工抽检（每周5%）验证自动化评估可靠性。
This answer comes from the articleLangfuse: an open source LLM application observation and debugging platformThe
May not be reproduced without permission:AI productivity tools " Langfuse的评估体系包含哪些维度？如何实现自动化评估？
English 
简体中文 
日本語 
Deutsch 
Português do Brasil