使用 Coze Loop 为prompt建立自动化评估体系

在AI应用开发领域，一个经过精心设计的 Prompt，其表现可能极不稳定，昨天效果出色，今天面对新场景却可能收效甚微。这种效果的随机性与不可预测性，是阻碍AI应用从原型走向规模化生产的关键障碍。所有追求服务持续性与可靠性的开发者，都必须面对这一挑战。

近期，字节跳动在开源其一站式AI应用开发平台 Coze Studio 的同时，也推出了一个名为 Coze Loop (扣子罗盘) 的配套工具。Coze Loop 很容易被忽视，但它恰恰是解决上述困境的核心组件。其价值在于为AI模型的评估与迭代，提供了一套标准化的“实验”框架，帮助开发者从“凭感觉调优”转向“基于数据的科学迭代”。

本文将以“小红书爆款标题生成”的真实业务场景为例，完整演示如何运用 Coze Loop 为AI应用组织一场严格的量化评估。

什么是“实验”？为AI模型设计的标准化评估流程

“实验”在 Coze Loop 中并非一个抽象的学术概念，而是一套完整且结构化的评估流程，可以将其理解为：为AI模型组织一场标准化的“期末考试”The

这个流程由四个核心要素构成：

• 评测集 (Test Set)：相当于“考卷”。它包含一系列用于考察模型的输入样本（题目），并可以为每个样本附上预期的标准输出（参考答案），作为后续评分的依据。
• 评测对象 (Unit Under Test)：即“考生”。它可以是一个具体的 Prompt、一个封装好的 Coze 智能体，或是一个复杂的多步骤 Coze 工作流The
• 评估器 (Evaluator)：扮演“阅卷官”的角色。它依据预设的评分标准，对“考生”的输出进行逐一打分，并给出评分理由。
• 实验 (Experiment)：指代从“分发考卷”到“考生作答”，再到“阅卷官批改”并最终生成详细“成绩单”的整个过程。

通过解读这份详尽的“成绩单”，开发者能清晰地洞察AI模型的强项与弱点，进而执行有针对性的优化，使其能力日趋稳定。

步骤一：构建标准化考卷 (新建评测集)

一场高质量的评估，始于一份高质量的“考卷”。我们需要创建一个覆盖各类典型场景的评测集。

首先，为评测集命名，例如“小红书标题写作能力测试卷”。

接着，逐条录入测试用例。每一条数据项，都构成一道独立的题目。

如果测试用例数量庞大，平台也支持从本地文件批量导入，可以高效生成整份考卷。

在完成编辑后，一个至关重要的操作是“提交新版本”。这个行为相当于将草稿状态的“考卷”正式“付印”，使其成为一个固化的、可被调用的版本。只有提交了版本，这份评测集才能在后续创建实验时被系统识别和选用。

步骤二：定义智能阅卷官 (创建评估器)

考卷就绪后，需要配置一位严格的“阅卷官”。Coze Loop 的精妙之处在于，这位“阅卷官”本身也是一个由 Prompt 驱动的AI。这意味着，我们正在利用AI来评估AI，实现了评估流程的自动化。

我们需要为这位“AI阅卷官”提供一份详尽的“阅卷指南”（即评估器 Prompt），清晰地定义评分标准与执行逻辑。

例如，以下是官方提供的一个用于评判“指令遵从度”的评估器模板：

title:"指令遵从度"评估器
你的任务是判断 AI 助手生成的回答是否严格遵循了系统或用户的提示指令。
<评判标准>
- 如果 AI 回答完整、准确地响应了提示指令的要求，且未偏离任务，则得 1 分。
- 如果 AI 回答部分遵循了指令，但存在遗漏或偏离部分要求，得 0 分。
- 如果 AI 回答完全忽略或违背了指令，则得 0 分。
</评判标准>
<输入>
[提示指令]：{{instruction}}
[AI 回答]：{{ai_response}}
</输入>
<思考指导>
请仔细阅读提示指令，准确理解用户或系统希望模型执行的操作内容。然后判断 AI 的回答是否严格遵循了这些指令，是否完全准确地完成了任务要求。
根据Prompt 中的评判标准一步步思考、分析，满足评判标准就是 1 分，否则就是 0 分。
</思考指导>

从模板中可以看到，该评估器的输入是“考题” {{instruction}} 和“考生回答” {{ai_response}}，其输出格式被严格规范为 0 until (a time) 1 之间的一个分数及具体的评分理由，确保了评估结果的专业性和可解释性。

以下是为本次“小红书爆款标题”场景定制的一个更专业的评估器。

这份名为“小红书标题评审专家”的指令，要求AI阅卷官必须先进行深度思考，再给出分数。它接收三个输入参数：帖子的 {{POST_CONTENT}}，我们提供的参考爆款标题 {{REFERENCE_TITLES}} (标准答案)，以及待评估AI生成的 {{CANDIDATE_TITLE}} (考生答案)。

你是一位资深的小红书爆款标题专家评估师。你的任务不是创作，而是根据用户提供的“参考标题”作为唯一的黄金标准，来评估一个“待评估标题”的质量。
你的评估过程必须严格遵循以下逻辑：
1.  **深度分析参考标题**: 首先，仔细研究“参考标题”列表，在`<思考>`标签内提炼出它们的共同特征。这包括但不限于：
*   **核心词/主题**: 它们都围绕哪些关键词展开？（例如：“省钱”、“变美”、“踩坑”）
*   **句式结构**: 它们是陈述句、疑问句还是感叹句？是否有固定的模式（如“数字+方法”、“问题+解决方案”）？
*   **情绪钩子**: 运用了哪些词语来吸引眼球、引发共鸣或好奇？（例如：“绝了”、“救命”、“后悔没早知道”）
*   **目标人群**: 是否明确或暗示了目标读者？（例如：“学生党”、“打工人”、“新手妈妈”）
*   **符号/格式**: Emoji、空格、特殊符号的使用风格是怎样的？
2.  **对标评估待评估标题**: 接下来，在`<思考>`标签内，将“待评估标题”与你刚提炼出的特征标尺进行比较，判断它在多大程度上模仿了参考标题的风格和精髓。
3.  **给出评分和原因**: 基于以上对比分析，给出一个最终评分和评价。
*   **评分标准**: 0-1分
*   **0.8-1分**: 高度符合。风格、关键词、结构和情绪钩子都与参考标题非常匹配，几乎可以以假真。
*   **0.5-0.7分**: 基本符合。抓住了部分核心元素，但在语气、细节或“网感”上存在一定偏差。
*   **0.1-0.4分**: 不太符合。与参考标题的风格和核心要素相去甚远，没有学到精髓。
*   **原因**: 清晰地说明你打分的原因。必须具体指出“待评估标题”的优点（与参考标题相似之处）和缺点（与参考标题不同之处）。
下面是一个完整的评估示例，请严格按照此格式执行任务。
...（示例部分与原文相同，此处省略以保持简洁）...
现在，请根据以下内容开始你的评估。
<帖子内容>
{{POST_CONTENT}}
</帖子内容>
<参考标题>
{{REFERENCE_TITLES}}
</参考标题>
<待评估标题>
{{CANDIDATE_TITLE}}
</待评估标题>

步骤三：指定评测对象 (考生)

有了“考卷”和“阅卷官”，接下来需要指定本次评测的核心对象——“考生”。在本案例中，“考生”是一个为生成小红书标题而设计的 Prompt。

我们在 Prompt 中预留了 {{POST_CONTENT}} 变量。在实验运行时，系统会自动将“考卷”（评测集）中的帖子内容逐一填入该变量，驱动 Prompt 批量生成结果。

同样，为了确保“考生”能够被实验正确调用，必须在完成编辑后点击“提交新版本”，将其固化为一个可追踪的版本。版本控制是进行多次对比实验、衡量优化效果的基础。

关于“评测对象”的补充说明

Coze Loop 目前支持对以下三种类型的对象进行评测：

• Prompt
• Coze 智能体
• Coze 工作流

开发者可以根据实际应用形态，灵活选择需要评估的单元。

步骤四：启动评估实验 (新建实验)

当所有要素准备就绪，我们便可以正式启动实验，将“考卷”、“考生”和“阅卷官”组织起来。

第一步：布置考场

为本次实验命名，如“第一轮小红书标题生成Prompt效果评估”。

第二步：填写实验说明

简要描述本次实验的目标，便于后续追溯。

第三步：选用考卷

选择先前创建的评测集及其特定版本。如果版本选项为空，需返回步骤一检查评测集是否已成功提交新版本。

第四步：指定入场考生

场景一：评测 Prompt (本文示例)

option Prompt 作为评测对象后，需明确以下三点：

• Prompt key: 要测试的具体 Prompt。
• releases: 测试该 Prompt 的哪一个迭代版本。
• 字段映射 (Field Mapping): 这是配置中的核心环节，其本质是建立数据流的连接The

系统自动检测到所选 Prompt 中包含一个输入变量 {{POST_CONTENT}}The

我们需要告知系统，将“考卷”（评测集）中名为 POST_CONTENT 的数据列，填充到 Prompt 的 {{POST_CONTENT}} 变量中。如此，数据通路便被成功构建。

场景二：评测 Coze 工作流或智能体

若评测对象是更复杂的 Coze 工作流 maybe 智能体，流程逻辑一致。例如，选择一个工作流后，系统会自动识别其所有输入参数。开发者需要做的同样是进行“字段映射”，将评测集中的相应数据列与这些参数逐一对应。

Coze 工作流评测

with regards tointelligent body而言，其核心输入通常是用户的提问 input，映射关系更为直接。

实战展望：与外部框架集成

For the use of LangChain maybe Dify 这类主流开源框架自建AI应用的专业开发者而言，直接评测一个外部 API 接口是更高效的工作方式。目前 Coze Loop 尚不支持直接评测 API 对象，但这为平台二次开发或工具链整合提供了方向。

在生产环境中，可以考虑对平台进行二次开发，增加“API”类型的评测对象。这样，只需传入API地址和认证信息，即可将任何外部AI服务无缝接入这个强大的评测体系，实现对整个技术栈的统一评估。这种模式在 LangChain (used form a nominal expression) LangSmith 等 LLMOps 平台中已有实践。

第五步：指派阅卷官并分配任务

最后，选择我们创建的“小红书标题评审”评估器。

系统会自动解析出该评估器需要三项输入数据。我们依然通过“字段映射”为其提供批改材料：

• {{POST_CONTENT}} → 来源于 Reviews (used form a nominal expression) input 列（题目）。
• {{REFERENCE_TITLES}} → 来源于 Reviews (used form a nominal expression) reference_output 列（标准答案）。
• {{CANDIDATE_TITLE}} → 来源于上一步 评测对象 (Prompt) 的输出结果（考生答案）。

至此，一条清晰的自动化评估数据流已经构建完成：评测集出题 → 评测对象答题 → 评估器依据标准答案和题目对答题结果进行批改。

解读“成绩单”，开启精准优化之旅

点击运行实验，等待片刻，一份详尽的评估报告便会自动生成。

这份报告为开发者提供了告别“玄学调优”的科学依据。它不仅包含量化的分数，更提供了每一项评估的详细理由，成为了洞察模型能力、驱动精准迭代的数据起点。