5 / 12
第 5 页 · 文字版
03 / 真实不等于正确
03 REALITY NEEDS EVALUATION
最容易误判:有真实结果,就有可靠答案 真实业务数据解决的是分布问题:它让我们看到事情在现实中怎样发生。但它不会自动解决因果归因,也不 会自动告诉模型哪一步值得学习。
外部变量 幸存者偏差 销量受价格、季节、渠道和竞争影响,不能都归 只保存成功案例,会把运气和不规范操作一起学 因给 Agent。 进去。
延迟反馈 隐性知识 关键动作今天发生,真实后果可能数周后才出现。 专家凭经验停手或升级,但日志里可能只留下一 个点击。
把真实轨迹变成可学习信号,需要一层“评测翻译”
真实任务 黄金样本 评分标准 人工复核 业务指标 保留上下文 覆盖关键边界 解释好坏 处理灰区 验证价值
轨迹负责把现实带进系统;评测负责决定系统应该从现实中学什么。
九天 · AI 运行系统笔记 05
文字版便于检索与复制,图表和排版请切回「图文」。