Rubric-as-reward（RaR / OpenRubrics）

原理

医学、科学、写作没有唯一答案，RLVR 用不上。rubric 范式把任务拆成一张由小的可验证子问题组成的清单，逐条判定再加权聚合为奖励，底层假设是"验证比创造便宜"。Scale 的 Rubrics as Rewards（2025-07）每题 7–20 条，分 Essential、Important、Optional 与负分 Pitfall 四类 [1]；蚂蚁集团 inclusionAI 的 Rubric Anchors（2025-08）用 10,000+ 条人机混合 rubric 做风格控制 [2]；OpenAI HealthBench 含 262 位医生撰写的 48,562 条 rubric。

局限

Reward Hacking in Rubric-Based RL（2605.12474）显示：判分器失效可通过更强判分器缓解，但结构性差距不能——RL 后 rubric 分上升，事实正确性、简洁性、整体质量反而下降，无 rubric 裁判甚至偏好训练前基座。rubric 奖励"说到了"，不奖励"说对了" [3]。

缓解与对数据市场的含义

跨家族判分器面板、人工标注校准（kappa 大于 0.6）、成对比较、专攻高分尾部是证据较强的做法。rubric 作者身份仍有分歧：有基准禁止 LLM 生成，也有主张 LLM 生成加专家验证（如 UniPat AI）。rubric 的稀缺投入是专家工时，见 专家与标注时薪对照。

来源

1. https://arxiv.org/abs/2507.17746 (2026-10-15)
2. https://arxiv.org/abs/2508.12790 (2026-10-15)
3. https://arxiv.org/abs/2605.12474 (2026-10-15)
4. https://arxiv.org/html/2510.07743v3 (2026-10-15)