RLVR 可验证奖励强化学习
概念与方法RL 环境
用验证函数取代奖励模型的强化学习，后训练算力重心所在
- 成立
- 2024-11
- 数据类型
- 可验证 prompt；验证函数
原理
RLVR 沿用 RLHF 目标，把奖励模型换成验证函数，答案可机械判定（数学终值、单测、格式约束）时给常数奖励。该名称由 Tülu 3（SFT mixture / 合成配方 / Dolci） 提出：其 RLVR 阶段只用 29,946 条可验证 prompt（GSM8K 7,473、MATH 7,500、IFEval 类 14,973）[1]。DeepSeek-R1（论文，含 R1 蒸馏路径） 用规则奖励（准确率加格式）而非神经奖励模型，理由是后者易被 hack [2]。
代表实现
数学与代码最先落地，原因是代码可以被自动评分。进入 agent 阶段后需要有状态环境，单任务成本与基础设施成本远高于数学题，催生 RL 环境价格带与成本结构 所述的环境市场 [4]。相关变体：Qwen3 的在策略蒸馏，8B 学生用 1,800 GPU 小时，RL 为 17,920 GPU 小时，约 1/10 [3]；Cursor 以真实用户交互做 real-time RL，等于把产品回流当作环境（官方博文，数据细节未核）。
局限
可验证范围有限，开放任务只能退到 Rubric-as-reward（RaR / OpenRubrics）；验证器弱则奖励可被利用，见 Grader 与 reward hacking。
来源
相关卡片
Grader 与 reward hacking概念与方法
RL 环境最贵的部件是评分器，弱评分器会被策略钻空子
RL 环境价格带与成本结构概念与方法
单任务 $200–2,000，UI 复刻约 $2 万，合同七位数每季度
Rubric-as-reward（RaR / OpenRubrics）概念与方法
用带权重的检查清单当奖励，把 RLVR 延伸到开放式任务
agent 轨迹回流与"服务即数据工厂"概念与方法
编码与办公 agent 的多步轨迹是回流中价值最高也最敏感的数据
Tülu 3（SFT mixture / 合成配方 / Dolci）数据集 · 美国
Ai2 全开放后训练配方：SFT、DPO、可验证奖励 RL 数据
DeepSeek-R1（论文，含 R1 蒸馏路径）论文与基准 · 中国
规则奖励 RL 加 80 万条拒绝采样样本，并蒸馏出小模型
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。