Grader 与 reward hacking

原理

一个可售 RL 环境由可交互世界、任务、grader、可重置并行四部分构成，其中 grader 最贵最核心：程序化验证优于 rubric，rubric 优于 LLM judge。Epoch 访谈 18 位从业者，其中一位创始人称检查 reward hacking"需要很多很多次迭代"，抗 hack 是首要质量标准 [3]。

证据

arXiv 2606.16062（单作者）抽样 SWE-bench Verified 49 题，28.5% 存在错误 patch 也能通过的弱测试；在被标记为"可 hack"的任务上 Pass@1 高 14.14 个百分点。样本小，需复核 ⚠️ [1]。OpenAI 2026-02-23 宣布不再评测 SWE-bench Verified，理由是测试缺陷与训练污染，其审计称最难 138 题中 59.4% 有实质问题（二手转述）；两组数字抽样口径不同，不可比 [2]。

影响

训练环境与评测环境同分布时环境会泄漏进评测；验证器强度因此成为数据商竞争的第一性变量。开放任务的对应问题见 Rubric-as-reward（RaR / OpenRubrics）。

来源

1. https://arxiv.org/abs/2606.16062 (2026-10-15)
2. https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/ (2026-10-15)
3. https://epoch.ai/gradient-updates/state-of-rl-envs (2026-10-15)