测试全绿后,先问“测试了什么”。当前项目覆盖固定规则与接口离线模拟,真实模型的行为和真实部署仍是另外两类验收。
把三类证据分开
规则测试检查查询范围、建议不写入、执行时重验与重放行为;接口离线测试检查工具回传、错误停止与次数限制。两者都不消耗模型额度。
真实模型评估需要固定题目、保留模型与日期、实际 trace 和失败。生产验收还包括真实认证、事务、并发、持久审计和恢复;本项目不包含这些运行环境。
失败先定位,再改
先判断是数据、工具、模型选择、回答解释还是执行层出了问题。若代码返回别人的记录,先修范围过滤;若工具正确而模型说“已退款”,保留该次回答为失败。
一次只改一项,再用相同的题复跑。保留基线、改动与代价,避免只挑选成功截图。模型题目还应覆盖证据不足、拒绝越权与资料中夹带指令的情况。
交接说明要能帮下一人继续
用 PROJECT.md 写明问题、对象、工具、实际测试、失败和未验收项。别人应能用相同文件与命令复现离线部分,并看清模型模式是否真的运行过。
当前不配置公开域名和真实用户入口。未来部署时再单独验证身份、数据隔离、费用上限、监控、回退和运营负责人。
这一节,交付一份测试记录与项目交接说明。
- 完整跑一次原测试,再跑新增反例,保留实际输出。
- 选一项失败,记录定位过程、改动与复跑结果。
- 写交接说明,让一位同伴可以复现;没有同伴时标明尚未独立复核。
怎样检查自己的作品?
- 规则、模拟接口、真实模型与部署证据明确分开。
- 保留失败和未验证项,没有虚报效果或认证。
- 另一个人能按文件与命令复现已完成部分。
先自己做,再来核对。
这里使用同一份合成案例。参考输出帮助检查判断,写作品时请保留自己的实际结果。
还没思路?用这份起步模板
基线:环境、版本、问题、预期结果。 实际:运行命令与原始输出。 失败:发生在哪层、保留什么证据。 修订:本次只改一处。 复跑:同一用例的前后结果。 未验证:真实模型、持久化、并发、登录、部署等逐项说明。
我已尝试,展开参考解法
- 先分别看规则、接口模拟、真实模型和工程部署的证据。一个类别通过,不能替代另一个类别的验收。
- 最少覆盖范围过滤、旧版本、没有批准、付款不满足和同请求重放;再加入你自己发现的反例。
- 使用“保存当前草稿为一版”,保留修订前的证据;改完后用版本对照检查究竟改了哪里。
预期检查点
问题 → 预测 → 实际输出 → 差异 → 单项修订 → 同题复跑 每项标明:实际运行 / 尚未运行 / 尚未独立复核固定案例的检查依据,不是对你当前运行结果的自动判定。
运行卡住了,从哪里查?
测试都绿了,仍不知道能否给真实用户用。
回看测试范围。教学代码未覆盖真实身份、持久事务、并发、监控或恢复,不应据此开放生产执行。
保存后发现另一页有更新。
先下载当前草稿与保留版本,重新读取账号记录,再手动合并;不要反复覆盖。
这一节,我做到了哪一步?
草稿保留在此浏览器;登录后可主动导入到自己的账号。 不要填密钥或客户资料。
留下一版,再继续修改版本对照
给首稿、收到反馈后或复跑后的记录留一版。对照只读,不会替换当前草稿。历史仅保存在此浏览器。 最多保留 12 个版本;需要腾出位置时可先下载,再确认删除。
选一段内容,获得反馈或带给九天
只带走下面这段副本,完整笔记留在自己手里。先检查并删去保密信息。
答疑单独申请;公开讨论需再次确认。九天 Agent 只预填草稿,由你点击发送。