17 / 24
第 17 页 · 文字版
FDE / 部署资本白皮书 17 评估控制
16 / EVAL & CONTROL
没有分层 Eval,就没有可控迭代
不同层级回答不同问题。把所有评估压成一个总分,会掩盖最危险的失败模式。
层级 评什么 最低产物
离线 正确、完整、引用、拒答、鲁棒 真实样本集、标注与阈值
模拟 工具调用、权限、异常、升级、回滚 场景脚本、预期轨迹、失败注入
在线 延迟、成本、接管、漂移、事故 监控、告警、审计日志
业务 行为和经营结果是否改善 基线对照、Owner 签收
上线门禁 样本来源、成功阈值、严重错误、人工批准点、停止条件、回滚方式、签字人和观察窗口必 须同时存在。不能用 Demo 样本验收生产系统,也不能让模型自己给自己打分后直接上线。
证据索引 O4, P1, S2, R 小红书|心晴九天 · 核验截止 2026-08-04
文字版便于检索与复制,图表和排版请切回「图文」。