RL 环境与可验证奖励

一句话结论

1. RL 环境 = 可交互世界 + 任务 + 自动打分器（grader）+ 可重置可并行的基础设施；后训练转向 RLVR 可验证奖励强化学习 后，可验证训练任务的供给成为 agent 能力的限速因素，最贵的部件是 grader 而不是容器 [1][2]。
2. "可验证"比数据量更关键：Tülu 3（SFT mixture / 合成配方 / Dolci） 的 RLVR 仅用 29,946 条可验证 prompt [6]；DeepSeek-R1（论文，含 R1 蒸馏路径） 用规则奖励（准确率 + 格式）、刻意不用神经奖励模型 [7]。
3. 与 robotics 专栏对应层的差异：机器人侧的"环境"是物理采集与仿真，成本落在硬件和场地；LLM 侧是软件世界的复刻与 grader 工程，成本落在专家与工程师工时，且可 64 次并行几乎免费地重跑 [2]。
4. 供给格局：环境原生公司 35–42 家（SemiAnalysis 称 35+，RL List 追踪 42 家），多为 seed 阶段小团队；老四家与 Turing 通过自建或收购进入 [2][3]。
5. 价格带：单条任务多为 $200–2,000，复杂软件工程偶见 $2 万；UI gym 约 $2 万/个；高保真产品复刻约 $30 万；合同每季度六到七位数美元；独占溢价约 4–5 倍 [1][2]。
6. ⚠️ 流传的"Mechanize 每任务训练烧 $2,400"是 $480 × 5 次复用的自家估算，不是实测 [4]。

生产方式

环境的四个组件

供应商的生产流程

1. lab 给 spec（领域、任务类型、难度分布、交付格式）；Anthropic 要求供应商使用其指定的沙箱框架，并自建 vendor engagement platform（SemiAnalysis 估计，媒体口径）[2]。
2. 专家与工程师配对写任务，确定唯一可验证完成态。
3. 搭执行场所（容器化代码库或产品复刻）。
4. 写 grader（测试套件、状态检查、rubric）。
5. 用当前模型跑 rollout 校准难度，对抗性审计 reward hack；交付容器 + 任务集 + grader + 元数据，通常闭源、独家 [1][2]。

Epoch 访谈了 18 位从业者（9 人通话、9 人文字或邮件），一致结论是规模化瓶颈在管理（协调大量任务编写者）与质量控制，而非找专家；还需要检查承包人是否用 LLM 代写 [1]。

四种生产模式

造价结构

• 一次制作费：按任务计价（见下文价格表），含专家时间、工程搭建、grader 迭代与 QA。没有一手披露"某单个 coding 环境造价"；按任务 $200–2,000 推算，含数百至上千任务的 SWE 环境集合应在数十万至百万美元量级（推算，非披露）[1]。
• 算力侧机会成本：一个 rollout group（64 次）按 50 万 output token、$15/百万 token 计 = $480；复用 5 次 = $2,400。当前前沿 RL 任务平均约 10 万 token，一年后预计 50 万（按 Epoch 观察的转录长度每年约 5 倍增长）[4]。Mechanize 是利益相关方，其"单任务低于约 $500 是低效、一年内应升至数千美元"是预测不是事实。
• 人力：专家时薪见 专家与标注时薪对照；各成本项占比（专家 30–40%、工程 30–40%、QA 15–25%）为作者估算，无来源，不作事实引用。
• 筛选率：SWE-rebench 从 30k 仓库、45 万 PR 过滤到 21,336 个任务；DeepSeek V3.2 用了 24,667 个编码任务 [2]。
• 异步训练（in-flight 权重更新）在相同墙钟时间下可得约 2 倍迭代数 [2]。

厂商与渠道

新三家与环境原生公司

"新三家"指近两年以环境、专家出题或 RL 服务切入的 Mechanize、Fleet AI、Halluminate 一类公司，市场结构见 数据商市场结构。下表一并列出其他环境原生与开放生态公司。

补充：SemiAnalysis 另列 Habitat、Vmax、Preference Model、Aboda.ai 等 [2]。Deeptune（a16z 领投 $4,300 万 Series A，2026-03）于 2026-07-09 被 Mercor 收购，Mercor CEO 曾以天使身份参与其 Series A，被报道指为治理问题 [28]。Kaizen 与 CodeSignal 未检索到可核实的 RL 环境产品，不列入。

老四家及第二梯队的环境部门

开源与社区

lab 自建与产品公司

• lab 自建：Epoch 访谈中一位创始人称近期"substantially more in-housing"，理由是避免供应商利润与保密优先级，Cursor 等 neolab 自建；未给量化比例（查不到）[1]。SemiAnalysis：OpenAI 正建内部人类数据团队以降低对供应商依赖；xAI 从一开始用内部 tutor；Google DeepMind 采购"相当分散"，由各研究团队决定；Anthropic 是几十家新公司的首个客户，并与 12+ 家环境公司做承包商（估计）[2]。
• Anthropic 预算：The Information 2025-09 报道其曾"讨论"一年内在 RL 环境上花 $10 亿以上，经 TechCrunch / Epoch 转述；是讨论而非确认预算，时间锚点为 2025-09 起 12 个月 [5]。
• 产品公司当环境：Epoch 写到 Benchling 与 Anthropic、OpenAI 与 Shopify / Stripe 的合作 [1]。复核结果：公开可查的 Anthropic × Benchling 是 2025-10-20 的 Claude for Life Sciences 连接器（MCP，沿用客户权限与审计日志），并非已披露的 RL 训练环境 [35][36]；OpenAI × Stripe 公开可查的是 Agentic Commerce Protocol / Instant Checkout（交易协议），未查到把产品作为 RL 环境提供给 OpenAI 的一手材料。因此"产品公司当环境"目前只是 Epoch / SemiAnalysis 的行业判断，具体合作形式未证实。
• 科学向：Periodic Labs 把物理实验室当奖励函数，见下文"局限与争议"。
• 中国：未发现国内 lab 搭建西式 vendor engagement platform；路径是自营 / 开源 + 国家数据基地（见 国家数据局数据标注基地与标注产业、数据要素×与高质量数据集行动方案）。国家数据局在成都、沈阳、合肥等 7 城建数据标注基地，2025 年中已建 524 个数据集服务 163 个大模型；2026-06 方案纳入强化学习、长程推理等数据集（⚠️ 未重新联网核实）。海天瑞声 2025 营收 3.77 亿元（+59%，未重新核实）。

应用方式

在训练流程中的位置

• RL 阶段：policy 在环境内 rollout → grader 给 reward → GRPO / PPO 更新。RL 请求量大于评测：Epoch 访谈中一位创业公司员工称 RL 请求约是基准评测请求的 10–20 倍 [1]。
• SFT 辅助：成功轨迹也被拿去做监督微调，适用于"好轨迹易得但可靠 grader 难建"的情形 [1]。
• 同一环境留 held-out 集当 eval，防过拟合。
• 算力占比：Qwen 后训练约占预训练算力的 5%；Gemini 2.5 Pro 发布时"可能低于 5%"（SemiAnalysis 估计）；OpenAI 2026 年研发算力投影约 $190 亿，约为 2025 年两倍（Epoch 引）[2][1]。

RLVR 的数据需求与代表论文

RLVR 对数据量的需求以"万级可验证 prompt"起步；agentic RL 则需要有状态环境，单任务成本与基础设施成本远高于数学 / 指令类。rubric 与 LLM judge 类奖励见 Rubric-as-reward（RaR / OpenRubrics）。

领域分布

Coding 最先（编译 / 测试即奖励）；其次是 computer-use 与企业软件（Fleet、Scale、HUD）；数学易产但重要性可能下降；企业流程（报销、CRM 更新、透视表）是增长区；金融 / 法律 / 医疗靠专家出题（Mercor、Handshake、Halluminate）；长程多步与多轮用户交互是新方向 [1]。

规模、成本与价格

更完整的价格带对照见 RL 环境价格带与成本结构。

市场规模：⚠️"约 85亿/年、50 + 家、 > 75186 亿）相加。单点收入：Prime Intellect ARR >$1 亿（公司口径）；Halluminate 年化"八位数中段"（公司口径）；Fleet 约 $6,000 万（媒体 / 二手口径，未确认）；Applied Compute $1,280 万（单一来源）[3][18][24]。

局限与争议

Reward hacking 与 grader 质量

• arXiv 2606.16062（Shreshth Rajan，2026-06-14，独立单作者）：SWE-bench Verified 49 题抽样里 28.5% 存在能通过测试的错误 patch；R2E-Gym 20 题抽样利用成功率 25.0%；对 134 个前沿模型提交的元分析显示，同一人工难度层内，在被标记为"可 hack"的任务上 Pass@1 高 14.14 个百分点（95% CI +11.80 至 +16.48）；加固流程中，对 11 个有问题任务生成的 105 个测试里 65 个在金标补丁上失败。样本小、作者单人，需复核 [9]。详见 Grader 与 reward hacking。
• Ross Taylor（General Reasoning）称"人们低估了规模化环境的难度"；Karpathy 看好环境与 agentic 交互、看空 RL 本身；OpenAI 的 Sherwin Wu 公开表示"做空"RL 环境创业公司（均为 2025-09 TechCrunch 引述）[5]。
• Epoch：过去一年模型自身变得更不容易 hack，但抗 hack 仍是首要质量标准 [1]。
• rubric / LLM judge 奖励的 hack：⚠️ 未重新核实。

环境泄漏到评测与污染

• OpenAI 2026-02-23 声明不再评测 SWE-bench Verified：测试有缺陷且训练污染；审计 138 道最难题中 59.4% 有测试设计或描述的实质问题（二手转述，抽样口径各报道不一致）；GPT-5.2、Claude Opus 4.5、Gemini 3 Flash Preview 能凭记忆复现部分原始修复；改推荐 SWE-bench Pro。Datacurve 2026-05 审计称 Pro 的 grader 误判约三分之一试验（⚠️ 二手）[10][46]。
• 结构性问题：训练环境与评测环境来自同一类任务分布时，环境本身会泄漏进评测；"同一环境留 held-out 当 eval"是行业做法，也放大这一风险。
• Harness 敏感性：同模型换 scaffold 分数摆动显著（具体幅度未核实 ⚠️），见 Harness 敏感性。

中立性、碎片化与市场结构

• lab 不愿把能力短板暴露给供应商，spec 被拆碎，一家供应商只看到局部——这是分析性判断，无一手来源。Scale 站队 Meta 后客户流失是常被引的案例（未重新核实）。
• Anthropic 大量做"第一个客户"并签独家，有人解读为用 VC 补贴供应商压低环境价格（SemiAnalysis / Epoch 的分析性说法，非事实陈述）[1][2]。
• Mechanize 结局是"授权+招人"结构：公司壳仍在，核心团队进入 DeepMind（媒体口径，价格未证实）；同一结构见 Windsurf / Character.AI [11]。
• 治理问题：Mercor 收购 Deeptune 时 CEO 曾为 Deeptune 天使投资人 [28]。
• 商品化风险：Wing VC 批评"环境优先、追求表面积"的策略（CRM / 日程 / Slack 克隆）会快速商品化（⚠️ 未重新核实）。

Science 环境空白与"实验室即奖励函数"

• 根因：缺便宜、可靠、自动化的验证器；生物实验单次可能数百至数千美元、耗时数天，对比代码任务可跑 64 次且几乎免费 [2]。
• Periodic Labs：Forbes（经 Forbes Australia 转载）称 2025-09 种子 $3 亿 @ $13 亿（另一聚合源称 $15 亿，冲突），2026 年正洽谈至少 $5 亿 @ $75 亿（AMP 领投，未确认）；公司网站称在建自主机器人实验室为自己的模型产生定制数据；SemiAnalysis 称其目标是用实验室数据训练 AI scientist，奖励接地于物理实验。Neon 二手报道称最终训练峰值用 1,300 块 H200，第一个任务是 X 射线衍射解析，吞吐 / 利用率为公司自报 [33][34][2]。
• 其他：FutureHouse（Ether0 用 Open Reaction Database）、Medra（计划数百机器人湿实验室，不做基础模型）、DeepMind 2026 年自动化材料实验室（均 SemiAnalysis 口径）[2]。
• 本层结论：三大 lab 公开层面只做事后验证与数据回流，未披露把湿实验当 RL 奖励；物理 reward 抗 hack 但慢、贵、有噪声。

口径冲突与未核实

来源

1. Epoch AI, "State of RL envs": https://epoch.ai/gradient-updates/state-of-rl-envs
2. SemiAnalysis, "RL Environments and RL for Science": https://newsletter.semianalysis.com/p/rl-environments-and-rl-for-science
3. RL List: https://www.rl-list.com/ ；https://www.rl-list.com/vendors/fleet-ai ；https://www.rl-list.com/vendors/prime-intellect
4. Mechanize 博客 "Cheap RL tasks will waste compute": https://www.mechanize.work/blog/cheap-rl-tasks-will-waste-compute/
5. TechCrunch, 2025-09-21: https://techcrunch.com/2025/09/21/silicon-valley-bets-big-on-environments-to-train-ai-agents/
6. Tülu 3: https://arxiv.org/abs/2411.15124
7. DeepSeek-R1: https://arxiv.org/abs/2501.12948
8. DeepSeek-R1 训练成本报道（CTV）: https://www.ctvnews.ca/business/article/chinas-deepseek-says-its-hit-ai-model-cost-just-us294000-to-train/
9. Reward hackability audit: https://arxiv.org/abs/2606.16062
10. OpenAI 停评 SWE-bench Verified: https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/
11. AI Weekly, Google–Mechanize: https://aiweekly.co/alerts/google-weighs-talent-deal-with-coding-agent-startup-mechanize
12. NewsBytes, Google–Mechanize: https://www.newsbytesapp.com/news/science/google-acquires-mechanize-over-15-billion-tamay-besiroglu-joins-deepmind/tldr
13. Fleet Series A 报道: https://runtimewire.com/article/fleet-raises-45m-series-a-725m
14. HUD（YC）: https://www.ycombinator.com/companies/hud
15. HUD（Caplight）: https://www.caplight.com/company/hud-ai
16. RL List, Prime Intellect: https://www.rl-list.com/vendors/prime-intellect
17. Prime Intellect Series A: https://www.kucoin.com/news/flash/prime-intellect-completes-130m-a-round-at-1b-valuation-backed-by-nvidia-intel-and-dell
18. Fortune, Halluminate: https://fortune.com/2026/10/01/halluminate-raises-30-million-series-a-oakhc-ft/
19. Pulse 2, Halluminate: https://pulse2.com/halluminate-raises-30-million-series-a-bringing-total-funding-to-38-5-million/
20. Veris AI 新闻稿: https://www.businesswire.com/news/home/20250603868539/en
21. RL List, Matrices: https://www.rl-list.com/vendors/matrices
22. Bespoke Labs: https://bespokelabs.ai/about-us
23. Bespoke Labs 融资报道: https://runtimewire.com/article/bespoke-labs-40m-agent-training-environments
24. Applied Compute: https://www.appliedcompute.com/company/fundraise
25. Applied Compute 洽谈报道: https://aiweekly.co/alerts/applied-compute-in-talks-for-3b-round-led-by-elad-gil
26. Snorkel, RL 环境: https://snorkel.ai/blog/snorkeling-in-rl-environments/
27. Snorkel, Terminal-Bench 2.0: https://snorkel.ai/blog/terminal-bench-2-0-raising-the-bar-for-ai-agent-evaluation/
28. Mercor 收购 Deeptune: https://cryptobriefing.com/mercor-acquires-deeptune-ai-training/
29. Scale RL Environments: https://scale.com/rlenvironments
30. Scale Gymnasium 文档: https://docs.gym.scale.com/getting-started/web-ui-guide
31. Mercor 收购 Sepal AI: https://orrick.com/News/2026/02/Mercor-Acquires-Sepal-AI
32. APEX-Agents: https://arxiv.org/pdf/2601.14242v3
33. Forbes Australia, Periodic Labs: https://www.forbes.com.au/news/innovation/former-openai-researcher-to-raise-500-million-for-ai-science-startup/
34. Periodic Labs Neon 报道: https://runtimewire.com/article/periodic-labs-neon-reinforcement-learning-infrastructure
35. Anthropic × Benchling 新闻稿: https://tools.prnewswire.com/en-us/live/20813/release/20251020EN01515
36. Claude for Life Sciences: https://www.anthropic.com/news/claude-for-life-sciences
37. SWE-bench: https://arxiv.org/abs/2310.06770
38. SWE-Gym: https://arxiv.org/abs/2412.21139
39. OSWorld: https://arxiv.org/abs/2404.07972
40. WebArena: https://arxiv.org/abs/2307.13854
41. τ-bench: https://arxiv.org/abs/2406.12045
42. BrowserGym: https://arxiv.org/abs/2412.05467
43. AppWorld: https://arxiv.org/abs/2407.18901
44. MLE-bench: https://arxiv.org/abs/2410.07095
45. Reasoning Gym: https://arxiv.org/abs/2505.24760
46. OpenAI 放弃 SWE-bench Verified 报道: https://aiweekly.co/alerts/openai-drops-swe-bench-verified-backs-pro-after-flaw-audit