世界模型生成数据
一句话结论
- "世界模型数据"是三种不同的东西：(a) 生成训练数据，(b) 当 RL 环境，(c) 当评测器。三者的成熟度、证据强度和市场完全不同，不能混为一谈。
- 证据最强的是 (c) 评测器：SC3-Eval 在 7 个真机 VLA 策略上闭环 Pearson r=0.929 [1]；WorldEval / dWorldEval 三任务均值 r=0.942 [2]；均为论文自报。
- (b) RL 环境的收益多落在 10–25 pt，但奖励仍由模型自己判定（ResNet 判成败、"内生奖励"、同一模型自评），独立验证弱 [3][4][5]。
- (a) 生成数据次之：DreamGen / DreamDojo 真机 9 任务成功率提升 9 到 24 pt，仍依赖少量真机数据 [6]。唯一公开的硬成本：24 万条仿真轨迹 ≈ 1,500 张 L40 × 54 小时，折算约 0.34 L40 GPU 小时/条（推算）[6]。
- 没有成规模的"卖世界模型生成数据"市场：权重开源（NVIDIA），生意在卖算力/平台、仿真资产与真人数据、API；未查到生成数据的报价 [7][8]。
生产方式
三种用法的分界
| 用法 | 世界模型做什么 | 产出 | 证据强度 | 代表 |
|---|---|---|---|---|
| (a) 生成训练数据 | 生成"梦境"视频，再用 IDM/潜在动作反推动作 | neural trajectories | 中（自报，依赖少量真机） | DreamGen / DreamDojo、GR00T-Dreams、Ctrl-World、GeniWorld |
| (b) RL 环境 | 当模拟器，策略在想象中更新 | 策略权重（非数据） | 中偏弱（奖励自判） | World4RL、RoboScape-R、Motus2（13 万小时第一视角构成） |
| (c) 评测器 | 想象 rollout 给策略排名 | 排名/成功率估计 | 强（与真机 r≈0.93–0.94） | SC3-Eval、WorldEval / dWorldEval |
(a) DreamGen 四阶段流水线（原型）
来源：NVIDIA GEAR，arXiv 2505.12705 [6]。
- 用目标机器人的少量遥操数据微调视频世界模型（image-to-video）。
- 给初始帧 + 新语言指令，生成新任务/新环境的机器人视频。
- 用 IDM 或潜在动作模型从视频恢复伪动作序列，得到 neural trajectories。
- 在 neural trajectories（可混真实数据）上训练视觉运动策略。
要点：
- 基础视频模型：WAN 2.1 用于大部分下游实验；DreamGenBench 评了 Hunyuan、CogVideoX、WAN 2.1、Cosmos，微调后的 Cosmos 在指令遵循与物理对齐上总体最高；零样本视频模型得分近 0。
- 规模：真机 GR1 每任务 300 条、Franka 每任务 100 条；RoboCasa 仿真共 24 万条（最高为原示范的 333 倍）。
- 算力：仅 RoboCasa 给出（约 54 小时 × 1,500 张 L40）。
- 瓶颈：多数失败来自 neural trajectory 质量而非 IDM。
- 论文自述局限：任务较简单、运动学覆盖不全、生成算力昂贵、初始帧需人工提供、开源评估器在物理真实性上会幻觉。
GR00T-Dreams（DreamGen 的产品化）
GR00T-Dreams 五步：用单环境单任务遥操数据 post-train Cosmos Predict-2，用初始图 + 新文本生成视频，Cosmos Reason 打分过滤失败 dream，IDM 反推动作，训练策略 [9]。公司口径：GR00T N1.5 借此蓝图 36 小时内开发完成，人工采集约需近三个月；博客未给生成条数和量化提升 [9]。过滤打分器本身也是模型（见局限）。
不属于世界模型生成的 78 万条
NVIDIA 称"合成操作运动生成蓝图"（Omniverse + Cosmos）11 小时生成 78 万条轨迹，约等于 6,500 小时人类示范 [10]（公司口径）。这是仿真 + Cosmos Transfer 增强路线（GR00T-Mimic / MimicGen / DexMimicGen），不是纯视频世界模型生成，不应与 GR00T-Dreams 并列。
其他生成式方法
| 方法 | 做法 | 关键数字 | 来源 |
|---|---|---|---|
| Ctrl-World（Stanford × 清华，ICLR 2026） | DROID 上训练的多视角可控世界模型；想象 rollouts 用于评测与"成功轨迹回灌" | 新指令成功率 38.7%→83.4%（arXiv v3 口径）；可生成 20 秒以上一致轨迹；精细交互/长程推理会失败 | [11] |
| GeniWorld（清华 × 腾讯 Robotics X） | 用 URDF 把数值动作渲染成图像，解耦运动学与环境动力学 | 摘要无数字；具体成功率与 FVD 待核 | [12] |
| DreamDojo（NVIDIA 牵头，见 DreamGen / DreamDojo） | 44k 小时第一视角人类视频预训练，潜在动作作代理标签，再按本体 post-train | 蒸馏版 10.81 FPS @ 640×480，用于实时遥操、策略评测、规划；基于 Cosmos | [13] |
| Vidar（生数 × 清华 TSAIL） | Vidu 视频基座 + 75 万条多视角双臂轨迹继续预训练 | 新本体适配仅需 20 分钟人类示范（官方称约为常规数据量 1%）；Vidarc 扩到 100 万条跨本体 | [14] |
| VPP2（星动纪元）（星动纪元） | 视频基座继续预训练 → 蒸馏单步视觉规划器 → MoT 动作模块 | VPP2-14B 开放任务指令遵循比 Cosmos3-64B 高 11.0 pt；ALOHA 真机零样本比最强基线高 18.5 pt（自报） | [15] |
厂商与渠道
| 名称 | 国家 | 类型 | 规模口径 | 客户 | 融资 | 来源 |
|---|---|---|---|---|---|---|
| NVIDIA Cosmos（Predict / Transfer）（Predict / Transfer / Reason）+ GR00T-Dreams | 美国 | 开源世界基础模型 + 蓝图 | Cosmos Predict 2.5（2B、14B）、Transfer 2.5（edge/blur/seg/depth 控制）；Cosmos 3（4B/16B/64B，全模态含动作）；平台训练集 1 亿片段、2,000 万小时原始视频 | 开源，生态客户众多 | 上市公司（NVIDIA 物理 AI 数据栈（Isaac/Cosmos/GR00T 作为供给方）） | [7][16] |
| Runway GWM Robotics（Runway GWM Robotics） | 美国 | API / SDK | 定位为学习式模拟器：数据增广 + VLA 仿真评测；⚠️ 未查到价格、客户、收入 | 未查到 | 未查 | [8] |
| Genie 3（Google DeepMind） | 美国/英国 | 实时交互世界模型 | 一次仅数分钟连续交互，动作空间有限；⚠️ 未查到 DeepMind 一手机器人迁移结果 | 未公开发售 | — | [17] |
| World Labs（Marble / SceniX） | 美国 | 3D 场景生成 | 导出 Gaussian splat + 碰撞网格，导入 Isaac Sim；2026-07-21 收购 SceniX；属 3D 场景生成，不是视频生成轨迹 | 1X 等案例页 | 未查 | [18] |
| 生数科技 Motus / Motus2（第一视角数据路线）（Vidu / Vidar / Motus 系列） | 中国 | 自用研究 | Motus2 约 13 万小时第一视角；只有 Motus v1 权重在 HF；⚠️ 未查到对外售卖生成数据 | 自用；Motubrain 三家战略合作未披露订单（二手） | ⚠️ B 轮阿里云约 7 亿元 + 中网投约 5 亿元，待核 | [19] |
| 光轮智能 Lightwheel（光轮智能） | 中国/美国 | 仿真资产 + 真人第一视角数据 | 公司口径：国际主要具身团队超 80% 仿真资产来自光轮；约 1 亿美元 2026Q1 订单（单一来源，未审计）；⚠️ 未查到其对外售卖"视频世界模型生成轨迹"的证据 | NVIDIA、Google DeepMind、Figure、智元、字节等（公司口径） | 2026-03 融资 10 亿元人民币；美元口径相互不一致，待核 | [20] |
| 星动纪元 | 中国 | 自用研究（VPP2（星动纪元）） | 训练数据总量与算力未公开 | 自用 | 未查 | [15] |
| 智元机器人 AgiBot（数采体系 + AgiBot World）（智元） | 中国 | 数据源 | AgiBot World / Digital World 数据被 Vidar、VPP2 用作预训练源 | — | — | [14][15] |
开源与"谁在卖"小结：
- Cosmos Predict 2.5 / Transfer 2.5 代码、权重、基准在 NVIDIA Open Model License 下发布；Cosmos 3 官方页写 OpenMDW-1.1，个别媒体写 NVIDIA Open Model License，以官方页为准，待核 [16]。
- GR00T-Dreams 流水线与 DreamGenBench 开源（GitHub nvidia/gr00t-dreams）；Motus v1 为 Apache-2.0。
- DreamDojo 是否已开放权重：媒体称开放，VentureBeat 称"代码将公开、无时间表"，两说不一致，待核 [13]。
- 商业模式：卖算力/平台（NVIDIA）、卖仿真资产与真人数据（光轮）、卖 API（Runway）。生成数据本身目前不是独立商品。
应用方式
(a) 生成训练数据 / 增广
- 阶段：几乎都在后训练 / 协同训练阶段，不是预训练主体。DreamGen 设定是"一个环境一个任务的真机数据 + 大量 neural trajectories"。
- DreamGen 增益（论文自报）：真机 9 任务，GR1 37%→46.4%，Franka 23%→37%，SO-100 21%→45.5%，每任务仅 10–13 条真机轨迹；GR00T N1 仅 pick-and-place 训练时新行为成功率近 0，加 DreamGen 后新行为（已见环境）43.2% [6]。仿真侧性能随 neural trajectories 数量近似对数线性上升（最高 333 倍）。
- Ctrl-World：用想象中的成功 rollouts 微调，新指令成功率 38.7%→83.4%（v3 口径）[11]。
- 光轮 × GR00T-Dreams：专家数据与生成数据约 1:10 微调 GR00T N1.5，部署到 LeRobot SO-101 做厨房任务（公司口径，无对照数字）[21]。
- 占比：多数论文未披露；GR00T N1 / N1.5 / N1.7 数据配方中视频生成约 827 h（⚠️ 待核）。Vidar/Motus 系列把"海量无动作视频→机器人训练数据"当主路线，Motus 路线图称需要千万到上亿小时，Motus2 目前约 13 万小时。
- 都不是零真机：DreamGen、Vidar（20 分钟示范）、Motubrain（50–100 条示范）均依赖少量真机数据。
(b) 作为 RL 环境
| 工作 | 世界模型角色 | 关键数字 | 奖励来源 | 来源 |
|---|---|---|---|---|
| World4RL | 扩散世界模型当高保真模拟器，端到端 PPO 微调 | ⚠️ 摘要页无数字；二手称 Franka 68.3%→93.3%、Meta-World +16 pt，待核 | ResNet18 判成败（二手），属模型自身 | [3] |
| RoboScape-R（CVPR 2026） | 世界模型当通用训练环境 | 域外场景平均提升 37.5%（相对基线） | "内生奖励"，由世界模型对状态转移的理解产生 | [4] |
| Motus2（13 万小时第一视角构成） | 单一共享权重同时是策略 / 仿真器 / 评估器 | 五任务宏平均：仅预训练 51%，完整 84%（每任务 20 次 rollout）；Put Phone and Multi-Finger：65.0% → +规划 67.5% → +MBRL 72.5% → 两者 75.0% | 评估器由同一模型担任，自评自判 | [5] |
| PlayWorld | 从自主"玩耍"数据学世界模型，再做 RL | 摘要口径真机成功率提升 65%；指出基线世界模型最常见失败为 hallucinated success | — | [22] |
| World-VLA-Loop | 近成功轨迹数据集 + 闭环把策略失败回灌世界模型 | 指出既有世界模型在动作错误时仍幻觉成功 | — | [23] |
归纳：世界模型内 RL 的收益多落在 10–25 pt（量级参考；上表 Motus2 的 MBRL 增量仅 +7.5 pt，World4RL 二手口径约 +25 pt）。
(c) 作为评测器
| 工作 | 核心 | 与真机相关性 | 来源 |
|---|---|---|---|
| SC3-Eval（作者含 Sergey Levine、Quan Vuong、Ming-Yu Liu、Jinwei Gu 等） | 微调预训练视频基座；前向-逆向动力学一致 + 跨视角一致 + 测试时一致（生成帧偏离动作时终止 rollout） | 7 个真机 VLA 策略上闭环 Pearson 0.929，MMRV 0.119，优于三个视频模型基线 | [1] |
| WorldEval / dWorldEval（美的 + 华东师大） | Policy2Vec 把视频模型变成跟随潜在动作的模拟器，LLM 自动判成败 | 三任务 Pearson r：0.958 / 0.887 / 0.980，均值 0.942；MMRV 均值 0.044；real-to-sim 基线 r 0.411；陌生背景 r 0.927；主比较仅 4 个策略 | [2] |
| dWorldEval（ICML 2026 spotlight，见 WorldEval / dWorldEval） | 离散扩散世界模型，视觉-语言-动作同一 token 空间，progress token 判成功 | 称优于 WorldEval、Ctrl-World、WorldGym；⚠️ 具体 r 值未查到 | [24] |
| Ctrl-World | 想象 rollouts 排名与真机一致 | 论文称"对齐"，⚠️ 未取到数值 | [11] |
- 评测 vs 数据生成的关键区别：评测器只需排序正确，对单帧物理细节容忍度高；数据生成器必须每条轨迹的动作-画面对齐正确，门槛更高。这是 (c) 先成熟的原因（推论，非论文原话）。
- SC3-Eval 用逆动力学一致性终止漂移 rollout，是少数引入独立约束的设计，其余评测器多靠模型自判。
- Physical Intelligence（π 系列数据体系） 相关作者参与 SC3-Eval，机构归属摘要页未标注，⚠️ 待核。
Motus2 的数据构成（来自第一视角人类视频，非合成）
Motus2（13 万小时第一视角构成） 的 13 万小时预训练数据是真人第一视角视频，不是世界模型生成数据 [5]。Table 1 原始小时：
| 来源 | 小时 | 性质 |
|---|---|---|
| Egocentric-10K / 100K / 1M（Build AI 100K） | 100,500 | 开源 |
| Egocentric-10K | 10,000 | 开源 |
| EgoVerse | 1,200 | 开源 |
| EgoDex | 800 | 开源 |
| Ropedia（Xperience-10M） | 7,000 | 混合 |
| EgoScale（egoscale.com，数据公司）（egoscale.com） | 6,000 | 采购 |
| LightWheel（光轮智能 Lightwheel） | 1,200 | 采购（立体第一视角真人数据） |
| JD-Group | 2,000 | 采购 |
| 赛博源 CyberOrigin | 1,200 | 采购 |
| 合计 | 约 130,000 | — |
- Egocentric-100K 单项约占 77%；开源合计约 112,500 h，约占 87%；采购四项（EgoScale 6,000 / JD 2,000 / 光轮 1,200 / 赛博源 1,200）约 10,400 h，约占 8%；Ropedia 7,000 h 为混合来源，约占 5%。
- 手套对齐数据数十小时；中训练阶段机器人 + 对齐数据合计 100 多小时 [5]。
- 光轮在此只是 1,200 h 采购数据源（不到 1%），不是合成数据，也不是全面合作的证据。
- 比较限制：π0.5 是唯一外部基线且得 0%，比较不对等。
规模、成本与价格
| 项 | 数字 | 口径 | 来源 |
|---|---|---|---|
| DreamGen 生成 24 万条 RoboCasa 轨迹 | 约 54 h × 1,500 L40 ≈ 81,000 L40 GPU 小时；≈0.34 GPU 小时/条 | 论文自报 + 折算（推算）；仅仿真任务，单条时长未给 | [6] |
| GR00T N1.5 开发 | 36 小时 vs 人工采集近三个月 | NVIDIA 公司口径 | [9] |
| 78 万条合成运动轨迹 | 11 小时，约等于 6,500 小时人类示范 | NVIDIA 公司口径，仿真 + Cosmos 路线 | [10] |
| Cosmos 推理 | 7B Video2World 单 H100 约 383 秒/次 | NVIDIA 文档，2025 年旧版，仅供量级 | [25] |
| DreamDojo 蒸馏版 | 10.81 FPS @ 640×480 | 论文自报 | [13] |
| VPP2 推理 | 每动作块约 0.22 s | ⚠️ 二手，待核 | — |
| Cosmos / DreamGen 单条轨迹美元成本 | ⚠️ 未查到 | — | — |
| 生数、光轮、Runway 的生成数据报价 | ⚠️ 未查到 | — | — |
| 光轮 SimReady 定价 | ⚠️ 未查到（有评论称开源数据集到 2027 年会侵蚀其定价权，属批评者观点） | — | [20] |
| 数据需求量 | Motus 路线称千万到上亿小时；Motus2 约 13 万 h；DreamDojo 44k h；Vidar 75 万条轨迹 | 公司/论文口径 | [5][13][14] |
判断（非来源）：生成一条轨迹的边际算力（约 0.3 GPU 小时量级）远低于真机遥操一条的人力成本，但真正的成本在 (i) 初始 post-train 所需真机数据，(ii) 过滤与验证，(iii) 视频基座本身的预训练算力。后两项由 NVIDIA 等通过开源摊销。
局限与争议
物理仿真数据与世界模型生成数据：两种失败模式
| 维度 | 物理仿真（Isaac / MuJoCo / Genesis；光轮） | 视频世界模型生成（DreamGen / Cosmos / Motus） |
|---|---|---|
| 物理正确性 | 引擎保证（接触、刚体较好；软体、流体弱） | 无硬约束，"看起来真，物理可能错" |
| 动作标注 | 天然精确 | 需 IDM/潜在动作反推，误差并入数据 |
| 视觉 | 渲染 gap，需域随机化 / Cosmos Transfer 增强（sim2real gap） | 真实感强，但有伪影、形变 |
| 成本结构 | 前期搭资产/场景贵，复用后边际低 | 前期需基座 + 少量真机，边际生成贵（GPU） |
| 成败/奖励 | 规则可写 | 模型自判 |
| 典型失败 | 视觉迁移失败 | 幻觉成功、物理不一致 |
| 评测相关性 | WorldEval 论文中 real-to-sim 基线 r≈0.41（⚠️ 并非"物理引擎 + 域随机化"的一般值） | SC3-Eval 0.929、WorldEval 0.942（自报） |
两种失败模式正交，评测要分开设计。"物理骨架 + 视频增强"的一手依据是 NVIDIA Cosmos（Predict / Transfer） 的 Transfer 2.5：它明确接收 Isaac Sim / Isaac Lab 渲染的 edge/depth/seg 做 sim2real [26]。光轮博客没有这一说法（见下文口径冲突）。
幻觉成功
幻觉成功：世界模型在错误动作下仍生成任务成功画面。
- PlayWorld 称其为基线世界模型最常见失败 [22]；World-VLA-Loop 称动作错误时仍可能生成成功结果，不适合直接做 RL [23]。
- WM-DAgger 用真实专家末帧锚定过滤不合理合成轨迹（仅见摘要）[27]。
奖励仍靠模型自身
World4RL（ResNet 判成败）、RoboScape-R（内生奖励）、Motus2（同一模型评估）、GR00T-Dreams（Cosmos Reason 过滤）、WorldEval（LLM 判成败）。成败判定与数据生成同源，错误会互相放大。
物理不一致与长程
- Genie 3 仅数分钟连续交互、动作空间有限 [17]；Ctrl-World 自述精细交互/长程推理会失败 [11]。
- Motus 模拟模式只推演单个动作块（约 1.6 s）且约占 10% 训练数据（⚠️ 二手，待核）。
- WorldEval 自述：低成功率策略下形变、视觉幻觉仍会出现；FID 在复杂任务（桌面整理）上与性能相关性明显下降 [2]。
论文口径不对等
Motus2 五任务里 π0.5 全为 0%；真机收益多为单平台、小样本（每任务 20 次 rollout）。VPP2 真机只测 ALOHA 一个平台，且该平台数据参与训练（⚠️ 二手，待核）。
Cosmos 训练数据抓取争议
- 404 Media 2024-08 报道泄露的内部材料显示 NVIDIA 为 Cosmos 类视频模型大规模下载 YouTube 视频（报道称一个月累计超 3,000 万 URL）[28]。
- 随后有 David Millette 起诉；2025-11-26 H3H3 等频道在同一法院起诉并援引 DMCA 反规避条款；2026-02 前后据称还有一起集体诉讼点名 NVIDIA 与 YouTube [29][30]。
- NVIDIA 立场：版权保护表达而非事实/想法，训练属合理使用。
- ⚠️ 未查到判决或和解，状态待核。
- 对下游：基于 Cosmos 权重生成的数据继承相同的来源不确定性；Motus2 用的是开源/采购的第一视角数据，来源路径不同。
Cosmos 与对手的相对位置
Cosmos 3 技术报告自称其后训练模型为 RoboArena 上最佳策略模型（报告成文时）；VPP2 称在开放任务指令遵循上超过 Cosmos3-64B 11.0 pt。二者均为自报。
口径冲突与未核实
| 说法 A | 说法 B | 采信 | 原因 |
|---|---|---|---|
| GR00T-Dreams × 光轮合流：先用 Isaac 生成物理骨架，再用视频模型做真实感增强 | 光轮博客正文无该两阶段描述，只说"深度融合 GR00T-Dreams 工作流"、专家数据与生成数据约 1:10、SO-101 厨房任务；NVIDIA 英文博客仅把光轮列为 N1 早期采用者 | B | "物理骨架 + 视频增强"的一手依据是 Cosmos Transfer（Isaac 渲染作控制输入）和 GR00T-Mimic，应表述为"NVIDIA 技术栈内两条路可串联" |
| 光轮与生数有合作（三种说法冲突） | Motus2 Table 1 中 LightWheel 是 1,200 h 采购的立体第一视角真人数据，占约 13 万 h 不到 1% | B | 论文一手；品类是真人数据，不是合成数据，也不是全面合作证据 |
| Motus2 约 85% 数据为 Egocentric-100K | 100,500/约 130,000 ≈ 77%；全部开源子集约 87% | B | 按 Table 1 重算：100K 约 77%，开源合计约 87% |
| WorldEval/dWorldEval 与真机相关性 r≈0.91–0.98 | WorldEval 论文表三任务 0.887–0.980，均值 0.942；第三方摘要曾写 0.79 | 论文表 | 一手；dWorldEval 的 r 未查到（PDF 过大无法抓取） |
| SC3-Eval 为"PI × NVIDIA，Cosmos 基座" | 摘要页作者含 PI 相关与 NVIDIA 相关人员，无机构标注，基座是否 Cosmos 未写 | B（待核） | 摘要页无机构与基座信息 |
| 78 万条/11 小时归入 GR00T-Dreams | NVIDIA 博客归属为合成运动生成蓝图（Omniverse + Cosmos，Mimic 路线）；GR00T-Dreams 博客未给条数 | B | 一手博客，分开引用 |
| 物理引擎 + 域随机化 r≈0.4 | 仅在 WorldEval 的 real-to-sim 基线中对上 0.411，未找到"域随机化"出处 | 保留，标口径待核 | 数值可对上，但基线定义不同 |
| DreamGenBench 与下游强相关（r=0.9x） | 论文只称"正相关"（Figure 6），无系数；附录 0.92–1.00 是自动指标与人工打分一致性 | B | 一手；避免写成与策略性能的强相关 |
| Cosmos 训练 token 数：9,000 万亿 vs 900 万亿 | 平台论文未核到 | 只写 2,000 万小时 / 1 亿片段 | token 数各源不一致 |
| DreamDojo 权重已开放 | VentureBeat：代码将公开、无时间表 | 待核 | 两说不一致 |
另有未覆盖项（⚠️ 待核）：GeniWorld 与 World4RL 的具体成功率数字（仅有二手）、VPP2 的 RoboDojo 数字、Genie 3 当前对外可用性、Cosmos 3 许可证名称、诉讼最新状态；生数/光轮是否售卖生成数据（未查到证据，不等于不存在）。
来源
访问日期均为 2026-10-14。
- SC3-Eval：https://arxiv.org/abs/2606.18610
- WorldEval：https://arxiv.org/html/2505.19017v1
- World4RL：https://arxiv.org/abs/2509.19080
- RoboScape-R：https://arxiv.org/abs/2512.03556
- Motus2：https://arxiv.org/abs/2608.30237 ；https://arxiv.org/html/2608.30237
- DreamGen：https://arxiv.org/abs/2505.12705 ；https://arxiv.org/html/2505.12705v2
- Cosmos Predict 2.5：https://github.com/nvidia-cosmos/cosmos-predict2.5 ；https://huggingface.co/blog/nvidia/cosmos-predict-and-transfer2-5
- Runway GWM-1：https://runway.com/research/introducing-runway-gwm-1
- GR00T-Dreams 博客：https://developer.nvidia.com/blog/enhance-robot-learning-with-synthetic-trajectory-data-generated-by-world-foundation-models
- 合成运动生成：https://developer.nvidia.com/blog/building-a-synthetic-motion-generation-pipeline-for-humanoid-robot-learning
- Ctrl-World：https://arxiv.org/pdf/2510.10125
- GeniWorld：https://arxiv.org/abs/2608.06332
- DreamDojo：https://arxiv.org/pdf/2602.06949v1 ；https://venturebeat.com/technology/nvidia-releases-dreamdojo-a-robot-world-model-trained-on-44-000-hours-of
- Vidar：https://arxiv.org/abs/2507.12898
- VPP2：https://arxiv.org/abs/2610.10270
- Cosmos：https://research.nvidia.com/labs/cosmos-lab/cosmos-predict2.5 ；Cosmos 3 https://arxiv.org/pdf/2606.02800 ；https://www.nvidia.com/en-us/ai/cosmos/llm-info/
- Genie 3：https://deepmind.google/discover/blog/genie-3-a-new-frontier-for-world-models/ ；https://bdtechtalks.com/2025/08/07/deepmind-genie-3/
- World Labs：https://www.worldlabs.ai/case-studies/1-robotics ；https://cryptobriefing.com/world-labs-scenix-acquisition-robot-training/
- 生数 Motus2 论文（同 [5]）
- 光轮：https://www.nvidia.com/en-eu/customer-stories/lightwheel ；https://equalocean.com/analysis/2026031121786 ；https://cryptobriefing.com/lightwheel-raises-145m-robotics-simulation/ ；https://yespress.io/lightwheel
- 光轮 × GR00T-Dreams：https://blogs.nvidia.cn/blog/gt00t-dreams-lightwheel/
- PlayWorld：https://arxiv.org/pdf/2603.09030.pdf
- World-VLA-Loop：https://hyper.ai/de/papers/2602.06508
- dWorldEval：https://arxiv.org/abs/2604.22152
- Cosmos NIM 文档：https://docs.api.nvidia.com/nim/reference/nvidia-cosmos-1_0-diffusion-7b
- Cosmos Transfer 2.5：https://github.com/nvidia-cosmos/cosmos-transfer2.5
- WM-DAgger：https://www.emergentmind.com/papers/2604.11351
- 404 Media：https://www.404media.co/nvidia-sued-for-scraping-youtube-after-404-media-investigation/
- Legal Dive：https://www.legaldive.com/news/nvidia-open-ai-face-youtube-creator-lawsuits-for-using-online-videos/
- Bloomberg Law：https://news.bloomberglaw.com/ip-law/nvidia-faces-class-action-over-scraping-youtube-to-train-ai
本章涉及的实体
Worldmodeldata公司与机构 · 欧洲
英国剑桥的授权游戏玩法数据商，面向世界模型与机器人训练
生数科技 Motus / Motus2（第一视角数据路线）公司与机构 · 中国
Vidu 视频基座团队，Motus2 以约 13 万小时第一视角视频训练统一策略/仿真/评估模型
Cosmos 训练数据抓取争议概念与方法
NVIDIA 被指为 Cosmos 类视频模型大规模下载 YouTube 视频，多起诉讼未见判决
幻觉成功概念与方法
世界模型在动作错误时仍生成任务成功的画面，污染想象中的 RL
物理仿真 vs 世界模型的两种失败模式概念与方法
仿真物理对但画面假，世界模型画面真但物理可能错，评测需分开设计
Ctrl-World论文与基准
DROID 上训练的可控多视角世界模型，用于策略评测与成功轨迹回灌
DreamGen / DreamDojo论文与基准
视频世界模型加逆动力学生成神经轨迹的四阶段方法，及 4.4 万小时人类视频预训练的 DreamDojo
GeniWorld论文与基准
用 URDF 渲染视觉动作的交互世界模型，可评测策略也可生成训练轨迹
Motus2（13 万小时第一视角构成）论文与基准
生数的策略/仿真器/评估器三合一世界模型，约 12.99 万小时第一视角预训练
RoboScape-R论文与基准
以世界模型为通用训练环境、产生内生奖励的 RL 框架
SC3-Eval论文与基准
自一致视频世界模型评测，7 个真机 VLA 上 Pearson 0.929
VPP2（星动纪元）论文与基准
视频基座继续预训练加蒸馏单步规划器，真机零样本领先基线 18.5 pt
Vidar论文与基准
视频基座加 75 万条双臂轨迹，新本体仅需约 20 分钟示范适配
World4RL论文与基准
扩散世界模型当模拟器，在想象环境中端到端 PPO 精调策略
WorldEval / dWorldEval论文与基准
用 Policy2Vec 把视频模型变成策略评测器，三任务 Pearson 均值 0.942
智元 Genie Envisioner / GE-Sim 2.0论文与基准
在 AgiBot World Beta 上预训练的世界模型，GE-Sim 2.0 用数千小时真机重训
GR00T-Dreams工具与格式 · 美国
NVIDIA 基于 Cosmos 的 DreamGen 开源蓝图，用世界模型生成神经轨迹
Genie 3工具与格式 · 美国
DeepMind 实时交互世界模型，用于给智能体生成训练世界
NVIDIA Cosmos（Predict / Transfer）工具与格式 · 美国
NVIDIA 开源世界基础模型家族，Predict 生成视频，Transfer 做 sim2real 增强
Runway GWM Robotics工具与格式 · 美国
Runway 通用世界模型的机器人变体，做数据增广与 VLA 仿真评测
本文为个人研究笔记，结论基于成文时可获得的公开信息；带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。