做 PPT 评测这一年，最大的体会是：AI judge 不难做，难的是让它跟人评对得上。

一个通用强模型，随手就能给一份 PPT 打个说得过去的分。但你要它在“这版到底比那版好在哪”上跟我手标一致——就没那么容易了。严格一致性我做到现在大概 72%。

难点几乎都在审美这侧。内容跑没跑题、有没有明显硬伤，这种机械的东西模型判得很准，95% 往上。但视觉、配色、排版——比如一份 ppt 其他都很好，就配色特别丑——这种维度写不成 0/1 的 rubric，模型还默认偏松，爱往高了给。

所以第一件事是承认：这层判断 AI 给不出通用版，它要跟的是一个具体的人的口味。

我的做法是反向学习，不是让它背 rubric

我不写一堆 rubric 让模型照着背，而是给它一批我亲手标好的 GSB，让它在 visible 集上反推：我到底在看哪些判别特征？再把学到的拿到 hidden 集上验。

hidden 这步是防线。不放它，模型很容易刻舟求剑——把规则过拟合到某几题上，一致率虚高，换批题就崩。所以 hidden 只看聚合，不让它逐题去够。

人评是唯一真值。模型的分只有跟我手标对得上才算数，公司模型、监控表、跑出来的正确率，先一律打问号。

什么时候停手

调到某个点，剩下的差异就是口味差了——我跟另一个标注者也未必一致。这时候我就停，不再让 rubric 替我定审美。再往下调，不是在提升分辨力，是在让模型学我这一个人的偏好，那就 hack 了。

所以 72% 不是 judge 不行。人跟人本来也就这个天花板。剩下那截是我的眼力，改 rubric 都调不动——我自己也是这么收手的。