第 9 页 · 文字版
09 失败与验收应分别处理 查对与做对是两类验收
先验证人和 Agent 能否根据模型回答真实业务问题,再验证动作能否正确改变状态。官方本体设计验证 方法包括未提前公布的问题、通用分析工具及非建模者参与;人和 Agent 的差异可帮助发现隐性知识, 也应排查数据、权限和工具能力,不能凭一次失败判定模型错误。[S08]
外部成功与本体成功要分开记录
官方 Webhook 文档区分 writeback 与 side effect。前者先调用外部,外部失败会阻止本体改动,但外部 成功后本体仍可能失败;后者在本体改动之后执行,用户可能先见成功。两种方式都需要按业务要求安 排失败处理。[S07]
当前动作重试机制默认不自动重跑带外部调用的动作,以避免重复副作用;若选择全部重试,需保证外 部调用可安全重复。不要把动作级重试与所有连接器或网络层的重试政策混为一谈。[S06]
本例建议保留的运行记录
记录请求 ID、调用者、数据与规则版本、建议、实际提交、权威系统结果及异常处理状态。遇到超时, 先判断结果未知还是明确失败,再决定核对或补偿。不要因页面显示成功,就推断所有外部系统已经同 步。
改动后重新跑原有用例
把正常、缺数据、权限不足、并发冲突和外部失败保存成用例。官方 AIP Evals 支持评价用例、比较版 本和观察重复运行差异;本例建议另保留动作及接口测试。测试能说明什么,取决于实际覆盖的行为, 不能用分析题正确率替代生产验收。[S09]
文字版便于检索与复制,图表和排版请切回「图文」。