Data / 视频生成

合成、渲染与蒸馏数据

整理 2026-10-15 · 来源与口径标注见正文
本文目录
  1. 一句话结论
  2. 生产方式
  3. 厂商与渠道
  4. 应用方式
  5. 规模、成本与价格
  6. 局限与争议
  7. 口径冲突与未核实
  8. 来源

一句话结论

  1. 视频生成预训练中，渲染类合成视频的披露占比很低或不披露：只有 NVIDIA Cosmos 给出明确数字，预训练 9 类视频中 "Synthetically rendered" 占 4% [1]；Meta Movie Gen、阿里通义万相 Wan（2.1 / 2.2 / 2.5）、腾讯 HunyuanVideo（1 / 1.5）、阶跃 Step-Video-T2V、Sand AI MAGI-1、字节 Seedance（1.0 / 2.0）与即梦 的技报均未披露渲染视频占比。该结论只能表述为"披露中无证据显示大比例使用"，不能表述为"没有使用"。
  2. 合成数据真正被大量使用的位置是文本与监督信号：几乎所有主流技报都用自训或内部 VLM 对训练视频做合成 caption（见 合成 caption（VLM recaption）），如 Movie Gen 的 LLaMa3-Video 8B/70B，训练集 70% 为 8B caption、30% 为 70B caption [2]。
  3. 渲染数据的价值在可控性标签而非外观：ReCamMaster（UE5 多机位合成） 的 MultiCamVideo 136K 视频、Stability SV3D（Objaverse 渲染） 的 Objaverse 150K 对象轨道渲染、Hunyuan-GameCraft 约 3,000 段 3D 资产渲染轨迹。GameCraft 消融显示纯合成训练损伤动态：Only Synthetic 的 Dynamic Average（对 VBench Dynamic Degree 的改编，报告绝对光流值）为 34.6，Only Live 为 77.2 [3]。
  4. 视频领域的"蒸馏"主要指加速蒸馏（自家教师到少步或因果学生，见 步数蒸馏（CausVid / Self Forcing / DMD）），如 CausVid 把 50 步压到 4 步 [4]；用竞品输出训练受 Google 等条款限制（见 用竞品输出训练与条款禁令），公开可核的执行案例未查到。
  5. 合成数据厂商偏自动驾驶、机器人、国防，面向视频生成基座的采购关系与金额几乎无公开披露；光轮智能 Lightwheel 2026Q1 新增订单 5.5 亿元（公司口径）为整体业务，未拆出视频生成部分。视频扩散的 Model collapse（合成数据递归退化） 专门研究未查到。

生产方式

游戏引擎与 3D 渲染

类型 流程 代表 规模（来源口径）
UE5 多相机同步渲染 3D 环境 + 角色 + 动画 + 相机轨迹四元组，一个动态场景 10 机位同步渲染 ReCamMaster（UE5 多机位合成）（快手 KwaiVGI，ICCV 2025）的 MultiCamVideo 40 个 3D 环境、13.6K 动态场景、122K 相机轨迹、136K 视频；HF 数据集 Apache-2.0 [5][6]
Blender 对象轨道渲染 Objaverse 的 CC 许可子集，归一化后 EEVEE 渲染 84 帧 RGBA 轨道，576x576，双背景 Stability SV3D（Objaverse 渲染）（Stability AI） 150K 对象 [7]
3D 资产重渲染的相机/动作轨迹 从精选 3D 资产系统采样起点，平移/旋转/复合轨迹，不同速度重渲染 Hunyuan-GameCraft（腾讯混元） 约 3,000 段高质量运动序列，作为 100+ AAA 游戏、100 万+ 段录像之后的后期微调数据 [3]
物理仿真评测视频 PhysX + Isaac Sim 设计 8 个 3D 场景（自由落体、斜坡、U 形坡、稳定/不稳定堆叠、多米诺、跷跷板、陀螺），Omniverse 资产随机化，4 个静态机位 Cosmos 技报评测用 800 条 1080p、100 帧视频；用于评测而非训练 [1]
大规模物理现象合成集 动态 3D 场景 + 几何/语义/运动/物理属性/文字描述标注 PhysInOne（物理合成视频集） 摘要约 200 万视频、153,810 场景、71 种现象；CVPR 2026 页面为 1.4M 视频、129,400 场景、68 现象，两版不一致，未能确认终稿；摘要未写渲染引擎 [8][9]
刚体仿真合成管线 可控刚体模拟，输出 RGB + 稠密 3D 表征 + 物理标注 PhysAlign 检索聚合称 3K 合成 clip 微调即可泛化，⚠️ 摘要原文未核到 clip 数 [10]
字形渲染 在纯白底上渲染汉字合成文本图像 阿里通义万相 Wan（2.1 / 2.2 / 2.5） 2.1 "hundreds of millions" 级合成含文字图像，与真实图像混合预训练 [11]

关于 OpenAI Sora / Sora 2：业界传闻称其训练使用 UE5 合成数据（The Decoder 转述 Jim Fan 等人推测，依据是演示中的游戏式画面线索与三维一致的相机运动）；OpenAI 不披露训练数据，未证实 [12]。

世界模型生成的合成视频（机器人、驾驶）

  • NVIDIA GR00T-Dreams：用 Cosmos 从单图 + 文本生成视频，再抽取动作（neural trajectories）训练机器人策略；与 GR00T-Mimic（用 Omniverse + NVIDIA Cosmos Transfer 扩增已有示范）分工。NVIDIA 称用该蓝图约 36 小时更新 GR00T N1.5，对比人工采集约 3 个月（公司口径，机器人场景）[13][14]。
  • NVIDIA Cosmos Transfer：以分割图、深度、边缘、LiDAR、关键点、HD map 等控制输入做 sim-to-real 风格迁移；Drive Dreams 用后训练的 Transfer 模型把多视角驾驶数据扩增到雾、雨等低能见度条件 [15][16]。
  • Cosmos 自身的安全分类器训练也用了 WFM 合成视频补足长尾类别 [1]。
  • 模型自生成视频用于偏好/奖励模型训练：字节 Seedance（1.0 / 2.0）与即梦 1.0 的 RLHF 偏好数据包含模型不同训练阶段生成的 synthetic videos [17]。

合成文本（recaption）

模型 caption 生成方式（技报要点） 来源
Meta Movie Gen 微调 LLaMa3-Video 8B 与 70B 为视频 captioner，训练集 70% 为 8B、30% 为 70B；加 16 类相机运动分类器前缀；人工标注员修正部分 caption；LLaMa3-Video caption 对 LLaMa3-FramesRewrite 的偏好率 67%；音频侧用若干模型为所有训练样本生成合成 caption [2]
阿里通义万相 Wan（2.1 / 2.2 / 2.5） 2.1 内部 LLaVA 式 caption 模型（ViT + Qwen LLM），训练数据含 caption、VQA、OCR 增强、re-caption、编辑指令 caption、人工 dense caption（最高质量，用于最终阶段）；称性能与 Gemini 1.5 Pro 相当（公司口径） [11]
腾讯 HunyuanVideo（1 / 1.5） 内部 VLM 生成 JSON 结构化 caption（多维度描述），并加相机运动类型 [18]
阶跃 Step-Video-T2V 三类 caption：Short、Dense、Original Title（保留部分原始标题增加风格多样性） [19]
Sand AI MAGI-1 MLLM 先过滤再 caption；两阶段（属性预分析 + 最终描述）；自回归逐秒 caption：首秒详细，后续聚焦相对变化 [20]
字节 Seedance（1.0 / 2.0）与即梦 1.0 基于 Tarsier2（字节视频 captioner） 在人工标注数据上训练 caption 模型；动态/静态要素分别描述；训练用长 caption 与仅描述运动的短 caption；推理时用 PE 模型把用户提示改写为同格式 [17]
OpenAI Sora / Sora 2 技报表述为将 DALL-E 3 的 re-captioning 用于视频，并用 GPT 扩写用户提示 ⚠️ 抓取原页返回 403，未当场核原文 [21]

其他合成形态：Movie Gen 的个性化/编辑任务使用合成配对数据（用个性化图像生成模型造参考图，ArcFace 相似度低于 0.7 的丢弃，最终 O(1)M 合成交叉配对样本；另有 O(10)K 真实交叉配对）[2]。caption 管线的更多细节见 清洗字幕章。

蒸馏

加速蒸馏（教师为自家或开源基座，见 步数蒸馏（CausVid / Self Forcing / DMD））：

  • CausVid（MIT + Adobe，CVPR 2025）：把双向教师蒸馏成因果自回归学生，用 DMD 将 50 步压到 4 步，首帧延迟约 1.3 秒、约 9.4 FPS；先用教师 ODE 轨迹配对初始化学生 [4]。
  • Self Forcing（Adobe + UT Austin）：基于 Wan2.1-T2V-1.3B；先在基座采样的 16k 个 ODE 解配对上因果初始化；训练提示取自过滤并由 LLM 扩写的 VidProM；对比基线用教师生成 70k 视频训练。训练信号几乎完全由教师模型产生，无需真实视频 [22]。
  • Step-Video-T2V Turbo：用基座以 50 NFE 对约 95,000 条 SFT 提示采样构成蒸馏集，训练 2-rectified-flow 学生，最多约 10 倍步数缩减，示例 10 NFE [19]。
  • MAGI-1：以 shortcut model 为蒸馏目标并加 CFG 蒸馏；另把大 MLLM 的提示增强蒸馏到约 7B 小模型（约 200 万样本）[20]。
  • HunyuanVideo：text-guidance distillation，约 1.9 倍加速 [18]。
  • Wan 技报目录含 Consistency Model Distillation 小节 [11]；Seedance 1.0 采用多阶段蒸馏（TSCD + RayFlow 式 score distillation + 人类偏好监督，判别器辅助）[17]。
  • Hunyuan-GameCraft：基于 Phased Consistency Model 蒸馏以实现实时交互 [3]。

用竞品输出训练（能力蒸馏）：见 用竞品输出训练与条款禁令 与下文"局限与争议"，公开可核案例未查到。

厂商与渠道

中国

名称 国家 类型 规模口径 客户 融资 来源
光轮智能 Lightwheel 光轮智能 中国 仿真合成数据、人类视频数据、工业仿真评测 人类视频数据覆盖 2.5 万+ 环境节点、10 万+ 任务类型，累计交付 150 万+ 小时；2026Q1 新增订单 5.5 亿元（公司口径；美国 PR 稿称约 1 亿美元，口径不同） 2025 年媒体称含英伟达、谷歌、阿里、字节、Figure AI、1X、智元等；合成数据曾用于 GR00T N1；视频生成客户未查到 2026-05 末一轮由蚂蚁集团领投（金额未披露）；另有报道称 2026-06 完成 10 亿元战略融资；2026-03 A+ 轮 10 亿元的说法与之时间线不一致，未能对齐 [23][24][25]

光轮与视频生成的关系：只查到"与世界模型团队合作"类表述，未查到视频生成模型的采购合同。生数 Vidar 的"光轮智能（合成）"来源仅见于既有内部素材，未找到公开一手来源，⚠️ 待核。

美国与全球

名称 国家 类型 规模口径 客户 融资 来源
NVIDIA Omniverse / Cosmos 美国 仿真平台、Cosmos WFM（Predict/Transfer/Reason）、NeMo Curator 20M 小时原始视频、约 100M clip；Curator 称 20M 小时可在 Blackwell 上 14 天处理（公司口径） Physical AI 开发者；开源可用 上市公司 [1][26]
Parallel Domain 美国 合成相机/激光雷达/雷达数据 API；PD Replica Sim 数字孪生 规模未查到；视频生成产品未查到 自动驾驶/感知团队（官网口径） 聚合页有 "$16M Series A" 标题，日期细节未核，⚠️ 不可信 [27][28]
Duality AI 美国 Falcon 数字孪生仿真，输出带标注合成传感器数据 规模未查到 DARPA RACER（Phase I 仅两家仿真供应商之一）、NASA JPL、美军 来源不一致：$12M A 轮 / $15.22M 累计 / $16M A 轮，未核一手 [29][30]
Bifrost AI 美国 合成数据（感知/机器人） 未查到 未查到 2024-10-30 A 轮 $8M，累计 $13.7M，Carbide Ventures 领投（二手聚合） [31]
Synthesis AI 美国 人脸/人体合成数据 累计融资 $26.13M（6 轮，CB Insights） 未查到 2025-09-25 被 Globant 收购（CB Insights 口径） [32]
Epic Games Unreal Engine 美国 UE5 渲染引擎（ReCamMaster 数据管线所用） - - - [5]

上述厂商均以自动驾驶、机器人、安防/国防为主；与视频生成基座训练的直接采购关系未查到公开披露。

开源数据与工具

名称 类型 要点
MultiCamVideo 数据集 UE5 渲染、136K 视频、Apache-2.0 [6]
SV3D 渲染（Objaverse 子集） 数据（方法公开） 150K CC 许可对象，轨道渲染 [7]
Cosmos 系列（Predict / Transfer / Reason） 模型 开放权重，可作为合成数据生成器 [1]
Isaac Sim / PhysX / Omniverse Replicator 工具 Cosmos 评测数据的生成工具链 [1]
Self Forcing、CausVid 代码/模型 蒸馏路线的开源参考 [4][22]
Kubric 工具 ReCamMaster 引用的早期合成配对数据生成器；其论文指出 Kubric 训练的方法因域差大，对真实视频效果有限 [5]

应用方式

各阶段位置

阶段 合成形态 代表
预训练 合成 caption（几乎全员）；少量渲染视频（Cosmos 4%）；合成含文字图像（Wan） Movie Gen、Wan、Cosmos
控制/条件微调 渲染的相机轨迹/多机位/动作条件数据 ReCamMaster、SV3D、GameCraft
物理微调 仿真生成的物理视频 + 物理标注 PhysInOne、PhysAlign
后训练 模型自生成视频用于偏好/奖励模型、蒸馏数据集 Seedance RLHF、Step-Video Turbo、Self Forcing
评测 仿真渲染的 ground-truth 物理场景；合成 benchmark 图像 Cosmos 800 条、MAGI-1 的 I2V 评测集含 FLUX 合成图

技报披露的合成占比核查表

模型 合成视频占比披露 合成 caption 披露 备注
Cosmos 有：预训练 9 类中 "Synthetically rendered" 4%（其余：驾驶 11%、手部/操作 16%、人类动作 10%、空间/导航 16%、第一人称 8%、自然动态 20%、动态相机 8%、其他 7%） 有：VLM 为每个 clip 生成描述 约 20M 小时原始视频，抽取约 100M clip（2-60 秒）[1]
Meta Movie Gen 未披露渲染视频占比 有（LLaMa3-Video 8B/70B，70/30） 合成仅见于编辑/个性化配对任务（O(1)M）[2]
阿里通义万相 Wan（2.1 / 2.2 / 2.5） 2.1 未披露渲染视频；披露合成文字图像"数亿"；技报称"数十亿图像和视频" 有（内部 caption 模型） 称混入 <10% 生成图像就显著劣化，故主动过滤；Wan 2.2 官方称较 2.1 图像 +65.6%、视频 +83.2%（HF 模型卡口径）[11][33]
腾讯 HunyuanVideo（1 / 1.5） 未披露 有（结构化 JSON caption） 预训练保留约 25 万小时，SFT 约 100 万条人工筛选样本（另有 8 万小时音频阶段口径，阶段归属不明 ⚠️）[18]
阶跃 Step-Video-T2V 未披露 有（Short/Dense/Original Title） Turbo 版蒸馏数据 95K 模型生成样本 [19]
Sand AI MAGI-1 未披露 有（自回归逐秒 caption） 数据为"数十 PB 原始视频/图像" [20]
字节 Seedance（1.0 / 2.0）与即梦 1.0 未披露 有（Tarsier2 基座 caption 模型） RLHF 偏好数据含模型自生成视频 [17]

有效性证据

  • 外观域差：ReCamMaster 用 UE5 数据训练后，需对训练 latent 加适度噪声以缓解"Unreal Engine 的合成特性"，降低合成与真实的域差 [5]。
  • 互补性：GameCraft 消融中，仅合成数据交互/动作精度显著提升（RPE trans 0.07）但动态显著下降（Dynamic Average 34.6）；仅真实游戏数据动态更好（77.2）但动作精度较差（RPE trans 0.16）；混合分布（Render:Live = 1:5）取得平衡（Dynamic Average 67.2，RPE trans 0.08）。论文解释为渲染合成数据不突出动态物体（动态场景渲染成本高）[3]。
  • 物理：PhysInOne 称对 SVD/CogVideoX/Wan 微调后物理合理性提高但复杂动力学仍弱（作者口径）[8]；Physics-IQ（DeepMind，真实实验视频 396 条、66 种场景）发现物理理解与视觉真实感无关 [34]；2026 年的 Physics-IQ Verified 称原基准约 57.6% 的样本需修正 [35]。
  • 反向使用：Wan 把合成图像检测作为过滤项，说明头部团队对网络上 AI 生成内容混入持警惕态度 [11]。

规模、成本与价格

项 数字 口径 来源
Cosmos 渲染占比的绝对量 20M 小时 x 4%，约 80 万小时量级 ⚠️ 推算值，非技报直接给出；4% 按 clip 数还是时长未说明 [1]
MultiCamVideo 136K 视频 数据集卡 [6]
SV3D 渲染 150K 对象 x 84 帧轨道 论文 [7]
GameCraft 渲染轨迹 约 3,000 段 论文 [3]
Cosmos 物理评测 800 条 论文 [1]
PhysInOne 约 1.4M-2M 视频 两版不一致 [8][9]
渲染单价 未查到 GameCraft 仅称动态场景渲染"计算昂贵、复杂" [3]
GR00T-Dreams 36 小时 vs 人工采集约 3 个月 公司口径，机器人场景，不可类比视频生成 [13]
合成 caption 单价 未查到 Movie Gen 用 70B 模型为 30% 的 clip 打 caption，说明算力可被预训练预算吸收 [2]
厂商对外价格 未查到 光轮 2026Q1 订单 5.5 亿元为整体业务，无法拆出视频生成 [24]
Self Forcing 延迟 相对 Wan2.1/SkyReels-V2 约快 150 倍 作者口径 [22]
CausVid 首帧延迟 1.3 秒 论文 [4]

这些渲染集量级相对于预训练的"亿级 clip"都很小，作用在于微调与控制。

局限与争议

合成数据本身

  • 域差与外观：渲染数据缺真实相机特性，需噪声或混训补偿（ReCamMaster）；动态物体不足（GameCraft）。
  • 物理一致性并非免费午餐：Physics-IQ 的结论是视觉真实不等于物理理解；仿真微调只在被覆盖的现象上有效。
  • 数据污染：Wan 技报称混入少量（<10%）生成图像即显著降低表现，故训练专门分类器过滤（公司口径）。这与主动加入合成数据的路线存在张力：必须是受控、标注、可追溯的合成，而非网络上不可追踪的 AI 内容。

用竞品输出训练与服务条款

详见 用竞品输出训练与条款禁令。

提供方 已核条款 来源
Google（Google Veo（2 / 3 / 3.1） 经 Gemini API / 生成式 AI 服务） 已核原文：生成式 AI 附加条款 "You may not use the Services to develop machine learning models or related technology."；Gemini API 条款 "You may not use the Services to develop models that compete with the Services (e.g., Gemini API or Google AI Studio)."（后者原文只涉及 Services，未单独提 outputs） [36][37]
OpenAI（OpenAI Sora / Sora 2） 二手来源称使用条款禁止用 Output 开发与 OpenAI 竞争的模型，Sora 2 指南重复此点；直接抓取条款页返回 403，⚠️ 未核原文 [38][39]
快手 快手可灵 Kling 未查到禁止用户用输出训练其他模型的明文；二手分析只摘到"可灵可将用户提交内容用于训练/改进其模型"的授权条款，文本不完整；官方条款页抓取为空，结论：未核 [40]
  • 公开案例：未找到"某视频模型被证实用 Veo/Sora/Kling 输出训练"的法院文书或权威媒体报道。⚠️ 空白不等于不存在。
  • 开源生态里，用 Wan 等开源教师做蒸馏（Self Forcing 以 Wan2.1-1.3B 为基础）是被许可的常规做法；对闭源商业 API 输出的二次训练，条款风险主要在合同法而非版权法，且取证困难。

Model collapse

  • 递归训练研究：Michigan 团队在图像扩散上做自消耗循环（replace 与 mixed 两种范式），把崩溃归因于"泛化到记忆化"的转变及合成数据熵下降，提出基于熵的数据选择缓解 [41]；另一工作指出合成数据潜表征的低维结构代代退化，提出 Latent Space Filtering（AAAI-26）[42]；第三项把分析扩展到视觉-语言/文生图，发现增加解码预算、多模型多样性、用冻结模型重标注可缓解 [43]。
  • 视频：未查到专门针对视频扩散的递归训练实证研究。视频模型自身输出再训练的风险只能类比图像结论，且视频还有时序一致性这一额外退化维度，属推断，⚠️。
  • 实务缓解：来源标注 + 过滤（Wan 的合成图像检测器）、混入真实数据（GameCraft 混合分布）、教师-学生分离（蒸馏数据只用于加速学生，不回灌基座）。详见 Model collapse（合成数据递归退化）。

披露缺口

  • Sora/UE5 属未证实传闻；通用视频模型对合成占比系统性不披露，外界无法据技报判断真实合成依赖度。
  • 厂商融资与规模多为聚合站转述（Caplight、CB Insights、Salestools），金额与日期互相不一致，使用前需一手核实。
  • 与授权库路线的对照见 版权库章；与法律风险的关系见 诉讼监管章。

口径冲突与未核实

说法 A 说法 B 采信 原因
既有素材称 UE5/Blender 渲染（HumanVid 等）用于相机可控人体动画 已核的 UE5 相机可控数据集是 ReCamMaster 的 MultiCamVideo（136K，快手）与 SV3D 的 Blender/EEVEE Objaverse 渲染 采 B；HumanVid 标"待核" HumanVid 未核到一手
既有素材称 Seedance "光流运动过滤 + 运动 RM；UE5 物理仿真合成为补充" Seedance 1.0 技报全文无 UE5、渲染或物理仿真合成表述；唯一的 "synthetic" 是 RLHF 偏好数据含模型自生成视频 采 B；"UE5 物理仿真合成为补充"降级为 ⚠️ 未证实 缺一手来源
既有素材称"用已有视频模型（Wan2.1 等）自生成再过滤" Self Forcing 基线用教师生成 70k 视频，主体用教师 ODE 配对与 VidProM 提示 两者相符，采 B 作有来源版本 一手论文
既有素材称游戏引擎渲染缺真实相机特性导致迁移受限 ReCamMaster 加噪缓解域差；GameCraft 消融有数字 成立，补数字 一手论文
既有素材称 GameCraft：100+ AAA、100 万段录像 + 约 3,000 段轨迹 论文原文 "about 3,000" 与 "over one million ... over 100 AAA games" 一致 已核
既有素材称 Cosmos 2024-08 曝光每天抓取 80 年时长视频 Cosmos 技报自述约 20M 小时原始视频，合成渲染 4% 不冲突，补充事实 关注点不同
既有素材称 Vidar 的合成来源为光轮智能 未找到光轮向生数供应合成数据的公开一手来源 保持"待核" 无一手来源
PhysInOne 摘要：约 200 万视频、153,810 场景、71 现象 CVPR 2026 页面：1.4M 视频、129,400 场景、68 现象 未定 两版数字不一致，无法确认终稿
光轮融资：2026-03 A+ 轮 10 亿元 2026-05 末蚂蚁领投一轮；2026-06 10 亿元战略融资 未定 时间线不能对齐
光轮 2026Q1 新增订单 5.5 亿元 美国 PR 稿称约 1 亿美元 并列标公司口径 币种与口径不同
Sora 使用 UE5 合成数据（Jim Fan 等推测） OpenAI 不披露训练数据 视为未证实传闻 无一手证据
Sora 技报 recaption 表述 抓取返回 403 ⚠️ 待复核 未当场核原文
Duality AI 融资 $12M A 轮 / $15.22M 累计 / $16M A 轮 聚合站互相不一致 均不采信 未核一手
PhysAlign "仅 3K clip 即可泛化" 摘要页未给 clip 数 ⚠️ 不采信数字 来自检索聚合
视频 model collapse 风险 仅有图像扩散的递归训练研究 类比推断，标 ⚠️ 视频专门研究未查到

未查到清单：Sora/Veo/Kling 官方一手条款中的 outputs 训练限制原文；Parallel Domain 与 Duality 的可核融资；任一厂商向视频生成基座出售合成视频的合同；Wan 2.5 与 Kling 的合成数据披露。

来源

  1. Cosmos World Foundation Model Platform, arXiv 2501.03575, https://arxiv.org/abs/2501.03575 （访问 2026-10-15）
  2. Movie Gen, arXiv 2410.13720, https://arxiv.org/abs/2410.13720
  3. Hunyuan-GameCraft, arXiv 2506.17201, https://arxiv.org/abs/2506.17201
  4. CausVid, arXiv 2412.07772, https://arxiv.org/pdf/2412.07772
  5. ReCamMaster, arXiv 2503.11647, https://arxiv.org/abs/2503.11647
  6. MultiCamVideo-Dataset, https://huggingface.co/datasets/KwaiVGI/MultiCamVideo-Dataset
  7. SV3D, arXiv 2403.12008, https://arxiv.org/pdf/2403.12008
  8. PhysInOne, arXiv 2604.09415, https://arxiv.org/abs/2604.09415
  9. PhysInOne CVPR 2026 页面, https://cvpr.thecvf.com/virtual/2026/poster/38597
  10. PhysAlign, arXiv 2603.13770, https://arxiv.org/abs/2603.13770
  11. Wan, arXiv 2503.20314, https://arxiv.org/abs/2503.20314
  12. The Decoder, https://the-decoder.com/openais-sora-is-much-more-than-a-text-to-video-generator/
  13. NVIDIA GR00T-Dreams, https://developer.nvidia.com/blog/enhance-robot-learning-with-synthetic-trajectory-data-generated-by-world-foundation-models
  14. IT Brief, https://itbrief.co.uk/story/nvidia-unveils-new-isaac-gr00t-tools-powering-robot-evolution
  15. hyper.ai Cosmos Transfer 报道, https://hyper.ai/en/stories/7bbe13dae54380b0812b58432d412457
  16. NVIDIA R2D2, https://developer.nvidia.com/blog/r2d2-boost-robot-training-with-world-foundation-models-and-workflows-from-nvidia-research
  17. Seedance 1.0, arXiv 2506.09113, https://arxiv.org/abs/2506.09113
  18. HunyuanVideo, arXiv 2412.03603, https://arxiv.org/abs/2412.03603
  19. Step-Video-T2V, arXiv 2502.10248, https://arxiv.org/abs/2502.10248
  20. MAGI-1, arXiv 2505.13211, https://arxiv.org/abs/2505.13211
  21. OpenAI Sora 技术页, https://openai.com/index/video-generation-models-as-world-simulators/
  22. Self Forcing, arXiv 2506.08009, https://arxiv.org/abs/2506.08009
  23. Gasgoo 光轮融资, https://autonews.gasgoo.com/articles/news/seeds-lightwheel-completes-new-funding-round-2059652092774633473
  24. 光轮 2026Q1 订单 PR, https://pr.newsaegis.com/article/dollar100M-in-Q1-Orders-Lightwheel-Marks-the-Start-of-Physical-AI-at-Scale/69fba6cdd56b553ce63b3fe5
  25. NVIDIA 中文博客（光轮与 GR00T N1）, https://developer.nvidia.com/zh-cn/blog/lightwheel-nvidia-gr00t-n1
  26. NVIDIA 博客, https://blogs.nvidia.com/?p=76949
  27. Parallel Domain 官网, https://paralleldomain.com/
  28. CB Insights Parallel Domain, https://cbinsights.com/company/parallel-domain/
  29. Carahsoft Duality AI, https://www.carahsoft.com/duality-ai
  30. Caplight Duality, https://www.caplight.com/company/duality
  31. Salestools Bifrost AI, https://salestools.io/en/report/bifrost-ai-raises-8-million-series-a-october-2024
  32. CB Insights Synthesis AI, https://www.cbinsights.com/company/synthesis-ai/financials
  33. Wan2.2 模型卡, https://huggingface.co/Wan-AI/Wan2.2-T2V-A14B
  34. Physics-IQ, arXiv 2501.09038, https://arxiv.org/html/2501.09038v3
  35. Physics-IQ Verified, arXiv 2606.18943, https://arxiv.org/pdf/2606.18943
  36. Google 生成式 AI 附加条款, https://policies.google.com/terms/generative-ai
  37. Gemini API 条款, https://ai.google.dev/gemini-api/terms
  38. OpenAI 条款二手分析, https://conductatlas.com/platform/openai/openai-terms-of-use/provision/CA-P-078689/no-using-output-to-compete-with-openai/
  39. Sora 指南二手分析, https://licenseorg.com/guide/ai-content/sora
  40. 可灵条款二手分析, https://conductatlas.com/platform/kling-ai/kling-ai-terms-of-service/
  41. 图像扩散递归训练, arXiv 2509.16499, https://arxiv.org/html/2509.16499v3
  42. Latent Space Filtering, arXiv 2511.12742, https://arxiv.org/abs/2511.12742v1
  43. 视觉-语言递归训练, arXiv 2505.08803, https://arxiv.org/html/2505.08803v1

本章涉及的实体

Duality AI公司与机构 · 美国
Falcon 数字孪生仿真平台，输出带标注合成传感器数据，偏国防与机器人
Parallel Domain公司与机构 · 美国
自动驾驶合成相机/LiDAR 数据 API 与数字孪生仿真；无视频生成产品披露
Synthesis AI公司与机构 · 美国
人脸与人体合成数据厂商，2025-09 被 Globant 收购（CB Insights 口径）
光轮智能 Lightwheel公司与机构 · 中国
仿真资产与第一视角人类视频数据商；视频生成客户未披露
Model collapse（合成数据递归退化）概念与方法
递归用生成数据训练致分布退化；图像有研究，视频专门研究未查到
合成 caption（VLM recaption）概念与方法
用自训 VLM 为全部训练视频重写文本，是当前最普遍的合成数据
步数蒸馏（CausVid / Self Forcing / DMD）概念与方法
把多步或双向教师压成少步、因果学生，训练信号由教师生成
用竞品输出训练与条款禁令概念与方法
用 Veo/Sora/Kling 输出训练竞品受服务条款限制，公开执行案例未查到
MultiCamVideo数据集 · 中国
ReCamMaster 配套的 UE5 合成多机位视频集
PhysInOne（物理合成视频集）数据集 · 全球
带 3D 几何与物理属性标注的大规模物理现象合成视频集
Physics-IQ数据集 · 全球
DeepMind 真实实验视频物理理解基准，发现视觉真实不等于物理理解
Hunyuan-GameCraft模型 · 中国
100+ AAA 游戏录屏加 MonST3R 反推相机位姿
NVIDIA Cosmos Transfer模型 · 美国
以分割、深度、LiDAR 等控制输入做 sim-to-real 视频迁移的 Cosmos 模型
NVIDIA Cosmos 世界基础模型模型 · 美国
20M 小时原始视频提炼约 1 亿 clip，含 4% 渲染合成，面向 Physical AI
Skywork Matrix-Game模型 · 中国
开源交互世界模型，Minecraft 加 Unreal 引擎合成动作标注
Stability SV3D（Objaverse 渲染）模型 · 全球
Stability AI 用 Objaverse 对象轨道渲染微调 SVD 的多视角生成模型
阿里通义万相 Wan（2.1 / 2.2 / 2.5）模型 · 中国
阿里开源视频模型，技报写明"内部版权来源加公开数据"及完整过滤账
ReCamMaster（UE5 多机位合成）论文与基准 · 中国
快手以 UE5 多机位同步渲染数据训练相机可控视频重渲染
字节 Seaweed-7B论文与基准 · 中国
字节 Seed 7B 视频基座，披露约 100M 片段与 6 级质量过滤

本文为个人研究笔记，结论基于成文时可获得的公开信息；带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。