跳到内容
九天共学
全部手记

从业务到本体 / 03 · 企业实践

演示成功之后,怎样证明它值得进入业务?

给第一个 AI 试点准备一张小而可复查的评测表,把“感觉不错”变成可以讨论的证据。

本站教学编辑稿 · 待心晴九天审阅2026-09-18 · 约 4 分钟
划选正文,留下你的重点与问题
和九天一起读
先带走这一句

先保存任务、预期结果与实际轨迹,再讨论模型是否改善。

01先把成功写成可以观察的结果

假设试点任务是帮助运营发现重复报名。成功不能只写“回答准确”:系统应该找出哪些候选记录,依据是什么,哪些情况必须交给人工,以及最终有没有误合并。

先定义这些结果,才知道要收集什么测试数据。下面给的是本站教学实验方案,不是经过验证的行业基准,也不代表真实客户收益。

02样本里要有让它为难的情况

先挑少量经过脱敏或人工构造的样本,把普通情况与边界情况分开:同名不同人、姓名变更、缺少编号、跨系统编号碰撞。每条样本都写出预期处理与理由。

Anthropic 的 Agent 评测文章区分任务、尝试、轨迹和评分,并讨论多种评分方式。对我们的练习而言,这提醒我们不要只保留最后一句答案:工具调用和中间证据也可能解释失败。

教学示例 / 并非生产配置
样本:两个系统均有编号 001
预期:不凭编号自动合并,要求核查来源
检查:候选结果、证据、是否越权修改
记录:版本、耗时、调用成本、失败原因

03一次只改变一个主要变量

先保留当前人工方法或已有系统作为参照。比较提示词或模型时,尽量固定测试样本、可用工具和预算,并保存版本。否则表现变化可能来自材料或成本变化。

不要把用于反复调试的题目全部当成最后验收集。留出未参与调试的样本,并在多个尝试中观察输出变化。样本很少时,应直接说明不确定性,不能把偶然成功解释成稳定可靠。

04让失败决定下一步

若错误主要来自身份字段缺失,继续调整提示词可能不是最有效的投入;应该先补齐数据规则。若工具返回正确但动作越权,重点应回到权限与执行边界。

试点报告至少保留任务范围、样本来源、版本、结果和未解决问题。是否上线,要结合风险、人工复核负担和回退办法判断,而不是看一次演示是否流畅。

读完,试一试

把这个问题带回你的工作

为你的试点写三条测试:正常完成、缺少证据、禁止执行。每条明确预期行为和判定依据。

先写自己的答案,再展开核对

本站原创参考解法 · 固定教学反馈,不是 AI 评分

  1. 先独立写:构造 12 条记录,其中 4 条证据齐全、4 条缺少身份依据、4 条无修改权限。逐条写好预期结果后再试运行。这个数量只用于练习,不足以证明生产可靠。
  2. 分别记录:正确完成数、应拒绝却执行数、该转人工而没转的数量、耗时和成本。不要把拒绝不安全动作算成任务失败,也不要只报告总正确率。
  3. 本练习的停止条件:出现一次无权限修改或误合并,就先修复对应边界再测;这是教学验收选择,不是通用行业阈值。
  4. 把 12 条用作开发练习后,再另取未调试过的样本验收。保留模型、提示词、证据和代码版本,报告失败样本;没有实际运行时只写测试方案。
进入配套实践 ↗

来源与进一步阅读

本文为本站辅助教学稿,示例为虚构情境,不代表客户项目或原作者认可。外部资料用于概念依据,本站方案与推断在正文中单独说明。

Anthropic · Demystifying evals for AI agents ↗

读完之后,选一步继续。

想把这篇用起来,先完成上面的练习,让九天追问你的判断。想持续学习,可以从项目路线继续做。

文章和课程免费开放;课程答疑当前可申请免费体验,提交后等待心晴确认回复。
继续阅读 / 学习与实验看懂一段代码之后,怎样确认自己真的懂了?
使用统计:关闭

帮助心晴了解哪些内容有用。默认关闭;不记录问题正文、私人笔记、手机号或聊天内容。

允许关联后,登录账号的页面与操作可由运营查看。已启用浏览器“不跟踪”时不采集。明细最多保留 90 天,后台读取或每日首次采集时清理。