11 / 18
第 11 页 · 文字版
我读它的 prompt,发现里面有一句 Use general world knowledge 。通用知识里没有这部今年才施行 的法啊。所以我只改了这一句,换成"只依据下面给出的法条原文"并把法条附上。别的一个字都 没动。 层级判定 taxonomy-discovery +8.4 通用知识 83% 给法条 92% 类型判定 term-typing 持平 通用知识 86% 给法条 86% 非分类关系 non-taxonomic-re 论文公认最难的一项 +40 通用知识 60% 给法条 100%
实测输出。上半是稳定性(3 轮完全一致、0 题摇摆),下半是 A2 vs A3 对照。最后两行是给了法条仍然答错的 两条 —— 第二条就是漏掉限定条件的那个例外
论文里说了两年、公认最难的那一项,满分。 不是模型不会抽非分类关系,是没人把材料给它。上期那句"它不在词里,它在制度文件里", 讲的就是这件事。
怕是随机波动,同 prompt 同模型跑了三轮:准确率完全一样,24 道题一道都没摇摆。判定是稳定的。
文字版便于检索与复制,图表和排版请切回「图文」。