我做 AI 产品的竞品评测和 prompt 优化,主线是让 AI 的 judge 跟人的评价对得上。这里记我在评测、对齐、和跟 agent 协作上的一些想法。写得尽量轻。
- 让 AI judge 对齐到人评
通用 judge 好做,难的是让它在“这版到底好在哪”上跟我手标一致。为什么天花板是 72%,以及我怎么用反向学习去逼近它。
我做 AI 产品的竞品评测和 prompt 优化,主线是让 AI 的 judge 跟人的评价对得上。这里记我在评测、对齐、和跟 agent 协作上的一些想法。写得尽量轻。
通用 judge 好做,难的是让它在“这版到底好在哪”上跟我手标一致。为什么天花板是 72%,以及我怎么用反向学习去逼近它。