10 / 12
第 10 页 · 文字版
08 / 怎么判断真的变好了
08 MEASURE THE SYSTEM, NOT THE DEMO
别只看“准确率”,要看四组指标 Agent 的表现是模型、工具、权限、流程和人的共同结果。只有同时看质量、效率、业务和控制,才知道系 统是否真正进步。
质量 效率
任务成功率 人审分钟数 关键事实错误率 单任务综合成本 严重风险漏检率 平均处理时长
业务 控制
周期缩短 越权次数 返工减少 审计完整性 采用率与完成率 回滚与恢复时间
每次升级都要回答三个问题:改了什么?为什么更好?出了问题怎样退回去?
九天 · AI 运行系统笔记 10
文字版便于检索与复制,图表和排版请切回「图文」。