Overseas access: www.kdjingpai.com

Bookmark Us

Current Position:fig. beginning " AI Answers

什么是pass@K指标？为什么它对评估智能体很重要？

2025-08-28

39

pass@K指标的解释与重要性

定义解析

pass@K是MCPMark采用的核心评估指标之一，表示模型在K次独立尝试中至少有一次成功完成任务的概率。例如pass@5=80%意味着模型尝试5次时有80%的概率能完成任务。

与传统指标对比

pass@1：单次尝试成功率
pass@K：考虑多次尝试的稳定性

重要性体现

对于智能体应用场景特别重要，因为：

反映模型在实际应用中的可靠性
量化评估模型的抗干扰能力
更接近真实使用场景(允许retry)
帮助开发者选择合适的尝试次数

该指标越高，说明模型越能稳定完成任务，这对于需要处理复杂业务的企业级AI应用尤为关键。

This answer comes from the articleMCPMark：大模型集成MCP执行智能体任务能力基准测试The

Related articles

May not be reproduced without permission:AI productivity tools " 什么是pass@K指标？为什么它对评估智能体很重要？

Recommended

English