第 3 页 · 文字版
心晴九天 · Agent 自我进化资料包 03 / 12 WorkBuddy-Bench · JobBench · LAB 数字怎么读: 涨分是真的,前提要看清 出圈结果 WorkBuddy 测评上,GLM-5 从 64.2 涨到 75.7,超过默认 harness 的 Gemini 3.5 Flash(72.4) 前提一 主实验里改 harness 的编辑器是 Claude Opus 4.8;Gemini 用上 Harness² 后约 77.5,仍然领先 前提二 每道题要多跑几遍,分数是同一道题改完后重跑的结果;把花掉的 token 算进去,在论文比较的方法里仍是最划算的一档 最大涨幅 WorkBuddy +11.5,JobBench +4.5,LAB(法律测评)部分通过率 +11.8 个百分点 自己改自己 编辑和执行用同一个模型,五个模型在三个测评上全部提升 换模型 在 Gemini 上改好的 harness 原样迁移,WorkBuddy 代码题:GLM-5 +17.3,Opus 4.8 只有 +2.6(办公题 +1.1) 跨测评 JobBench 攒的经验库用到 WorkBuddy 代码 / 网页 / 办公三类题:+0.6 / +0.5 / +2.9 消融 去掉经验库 −3.1 / −1.8;去掉两路分工 −2.9 / −3.7(WorkBuddy / JobBench) 论文 Table 1–3、Figure 6–8、§4、附录 E.3。WorkBuddy 为 OpenCode 配置;k=1 指每路只提一个候选改动。77.5 由 72.4 加上论文报告的 +5.1 得出。
文字版便于检索与复制,图表和排版请切回「图文」。