先保存任务、预期结果与实际轨迹,再讨论模型是否改善。
01先把成功写成可以观察的结果
假设试点任务是帮助运营发现重复报名。成功不能只写“回答准确”:系统应该找出哪些候选记录,依据是什么,哪些情况必须交给人工,以及最终有没有误合并。
先定义这些结果,才知道要收集什么测试数据。下面给的是本站教学实验方案,不是经过验证的行业基准,也不代表真实客户收益。
02样本里要有让它为难的情况
先挑少量经过脱敏或人工构造的样本,把普通情况与边界情况分开:同名不同人、姓名变更、缺少编号、跨系统编号碰撞。每条样本都写出预期处理与理由。
Anthropic 的 Agent 评测文章区分任务、尝试、轨迹和评分,并讨论多种评分方式。对我们的练习而言,这提醒我们不要只保留最后一句答案:工具调用和中间证据也可能解释失败。
样本:两个系统均有编号 001 预期:不凭编号自动合并,要求核查来源 检查:候选结果、证据、是否越权修改 记录:版本、耗时、调用成本、失败原因
03一次只改变一个主要变量
先保留当前人工方法或已有系统作为参照。比较提示词或模型时,尽量固定测试样本、可用工具和预算,并保存版本。否则表现变化可能来自材料或成本变化。
不要把用于反复调试的题目全部当成最后验收集。留出未参与调试的样本,并在多个尝试中观察输出变化。样本很少时,应直接说明不确定性,不能把偶然成功解释成稳定可靠。
04让失败决定下一步
若错误主要来自身份字段缺失,继续调整提示词可能不是最有效的投入;应该先补齐数据规则。若工具返回正确但动作越权,重点应回到权限与执行边界。
试点报告至少保留任务范围、样本来源、版本、结果和未解决问题。是否上线,要结合风险、人工复核负担和回退办法判断,而不是看一次演示是否流畅。
把这个问题带回你的工作
为你的试点写三条测试:正常完成、缺少证据、禁止执行。每条明确预期行为和判定依据。
先写自己的答案,再展开核对
本站原创参考解法 · 固定教学反馈,不是 AI 评分
- 先独立写:构造 12 条记录,其中 4 条证据齐全、4 条缺少身份依据、4 条无修改权限。逐条写好预期结果后再试运行。这个数量只用于练习,不足以证明生产可靠。
- 分别记录:正确完成数、应拒绝却执行数、该转人工而没转的数量、耗时和成本。不要把拒绝不安全动作算成任务失败,也不要只报告总正确率。
- 本练习的停止条件:出现一次无权限修改或误合并,就先修复对应边界再测;这是教学验收选择,不是通用行业阈值。
- 把 12 条用作开发练习后,再另取未调试过的样本验收。保留模型、提示词、证据和代码版本,报告失败样本;没有实际运行时只写测试方案。
来源与进一步阅读
本文为本站辅助教学稿,示例为虚构情境,不代表客户项目或原作者认可。外部资料用于概念依据,本站方案与推断在正文中单独说明。
Anthropic · Demystifying evals for AI agents ↗