DreamGen / DreamDojo

数据配方

DreamGen 四阶段：遥操数据微调视频世界模型；生成视频；IDM/潜在动作模型反推伪动作得 neural trajectories；训练策略。每任务生成 GR1 300 条、Franka 100 条；RoboCasa 24 万条（最高为原示范 333 倍）[1]。DreamDojo（arXiv 2602.06949）用 44k 小时第一视角人类视频预训练，潜在动作作代理标签，再按本体 post-train [2]。

结果与证据

真机 9 任务（仅用 10%–25% 真机数据，每任务约 10–25 条）：GR1 4 任务 37%→46.4%，Franka 3 任务 23%→37%，SO-100 2 任务 21%→45.5%。RoboCasa 24 万条用 1,500 张 L40 跑 54 小时（约 8.1 万 GPU 小时，约 0.34 GPU 小时/条，推算）[1]。DreamDojo 蒸馏版 640×480 下 10.81 FPS [2]。

已知缺陷与口径

自述局限：任务简单、算力昂贵、需人工给初始帧、评估器会幻觉。DreamGen Bench 与下游只称"正相关"。增益依赖少量真机数据。DreamDojo 权重是否开放，所引页面未说明。

来源

1. arXiv 2505.12705 (2026-10-14)
2. arXiv 2602.06949 (2026-10-14)
3. https://developer.nvidia.com/blog/enhance-robot-learning-with-synthetic-trajectory-data-generated-by-world-foundation-models (2026-10-14)