新数据品类：音视频、多镜头、参考配对与交互世界模型

一句话结论

1. 六类新品类里，四类主要靠"算法从大池子里构造"而非采购：音视频联合（SyncNet 同步过滤 + MLLM 音频 caption）、多镜头（镜头切分 + 相邻镜头拼接 + Gemini 分层 caption）、参考生成（检测 + 跨视频检索配对）、相机/3D（SLAM/MegaSaM 反推位姿）。原料仍是影视/YouTube/内部库，增量价值在"管线"而不在"买数据" [1][5][7][11]。
2. 动作条件交互世界模型是唯一真正出现"数据买卖市场"的品类：因为"画面 + 控制器输入"的对齐数据网上不存在。2026 年出现 General Intuition（Medal 分拆，Series A $320M）、<a class="wl" href="/entities/worldmodeldata/#data-video">Worldmodeldata</a>（£7M 种子，自称授权近 100 万小时）、<a class="wl" href="/entities/origin-lab/#data-video">Origin Lab</a>（$8M 种子）、Claru 等采集商 [20][21][22][23]。路线分三种：自建引擎合成（Skywork Matrix-Game）、平台/自家游戏日志（Microsoft Muse / WHAM、Medal）、逆动力学模型给无标签视频补动作（VPT/Genie）。
3. 头部闭源模型（Google Veo（2 / 3 / 3.1） 3、OpenAI Sora / Sora 2 2、快手可灵 Kling 2.6/3、字节 Seedance（1.0 / 2.0）与即梦 2、阿里通义万相 Wan（2.1 / 2.2 / 2.5） 2.5/2.6）的音频数据来源基本未披露 ⚠️；唯一明确量级的是开源 Ovi（音视频联合生成）（音频塔预训练"数十万小时、以语音为主"，多为内部数据）。Veo 3 的唯一旁证是 CNBC 报道 Google 用 YouTube 库训练 Veo 3 [1][6]。
4. 动漫数据是版权最敏感、标注最稀缺的品类：公开集 Sakuga-42M（120 万 clip，80% 低分辨率）、B 站 AniSora（自称 1000 万+ clip，来源未公开）；日本 CODA 2025-10 对 OpenAI Sora 2 发出训练禁用要求，商业授权交易未查到 ⚠️ [28][29]。
5. 数据缺口不在"量"而在"对齐与标签"：音画同步、跨视频同身份、相机位姿、动作-画面时序，每一种都需要专用过滤器/估计器，这些工具链（SyncNet、MegaSaM、TransNet V2、ArcFace、MonST3R）是各家真正的壁垒。

六类新品类总览

生产方式

音视频联合数据

• Ovi（音视频联合生成）（arXiv 2510.01284）：视频来自"内部音视频语料"，规模仅称"millions of videos"；121 帧/24fps 片段；RAFT 光流去静态、美学分过滤、人脸检测平衡单人/多人/无人。音频塔预训练用"数十万小时、主要是 12 秒内语音"（多来自内部），微调用 5.04 秒片段，公开源含 VGGSound、AudioSet、WavCaps + 内部配对音轨 [1]。
• 同步过滤：用 SyncNet 在百万视频规模上打分，保留 |offset|≤3 且 confidence>1.5、平均音量≥-60 dB 的片段；作者称少量不同步数据就会损害口型同步 [1]。
• Caption：MLLM 输入 7 个等距帧 + 完整音轨，输出视觉描述（语音以 <S>/<E> 标记）+ 音频描述（说话人年龄/性别/口音/语速/情绪；非语音为音效/背景/音乐）[1]。
• LTX-2（Lightricks LTX-Video / LTX-2，Lightricks，arXiv 2601.03233）：使用 LTX-Video 数据集的子集，挑选含显著音频信息的片段；自建音视频 caption 系统（音乐、环境声、对白含说话人/语言/口音）。小时数、版权来源均未披露 ⚠️；14B 视频流 + 5B 音频流 [2]。
• TAVGBench（公开基线）：来自 AudioSet 的 YouTube 片段，剔除无效后 170 万条、每条 10 秒、共 11.8K 小时；BLIP2 + WavCaps 分别描述画面和音频，再由 ChatGPT 合并改写 [3]。
• OpenHumanVid（CVPR 2025）：源于 13.4 万部影视/纪录片作品（约 10.5 万小时），过滤后据二手综述为 1320 万高质量人像 clip，附骨架序列与语音音频；1320 万数字未核原文 ⚠️ [4]。
• 闭源模型：字节 Seedance（1.0 / 2.0）与即梦 2.0 技报（arXiv 2604.14148）称原生音视频联合生成、双耳立体声、多轨（背景/环境/旁白），可接受最多 3 段音频参考，摘要页未提训练数据 [5]。快手可灵 Kling 2.6（2025-12）首次带原生音频，同一次推理产出；Kling 3.0（2026-02）扩展语言并带口型同步（均来自第三方聚合页，非快手一手）[6]。阿里通义万相 Wan（2.1 / 2.2 / 2.5） 2.5 起带原生音频（第三方描述，未核阿里官方文档）。Google Veo（2 / 3 / 3.1） 3：CNBC 2025-06-19 报道 Google 用 YouTube 库训练 Gemini 与 Veo 3，创作者不能退出，Google 称仅用"子集"并遵守与创作者/媒体公司的协议 [7]。OpenAI Sora / Sora 2 2 系统卡官网 403 未能读取，二手描述其语料分四类（公开数据、合作方专有数据、自建数据、人工数据）。

多镜头/长叙事

• Long Context Tuning（多镜头）（LCT，ByteDance Seed + CUHK，arXiv 2503.10589）：公开来源的场景级视频（电影、纪录片等），场景边界检测 + 镜头切分；Gemini-1.5 生成全局描述 + 分镜描述（角色用 ID 引用，[SHOT CUT] 标记）。约 50 万场景样本（平均 5 镜头），另有约 100 万由长单镜头按事件切分得到的"伪多镜头"样本；与单镜头预训练数据 1:1 混合；未报小时数 [8]。
• MoC（arXiv 2508.21058，ICLR 2026）：在 LCT 上换稀疏注意力路由（剪掉 85%+ token 对，约 18 万 token 的分钟级场景提速 2.2 倍），属架构改进而非新数据 [9]。
• HoloCine（多镜头）（HKUST + 蚂蚁，arXiv 2510.20822）：影视剧集语料；TransNet V2 切镜头、video-subtitle-extractor 去字幕、过短/过暗/低美学分剔除（无数值阈值）；相邻镜头按 5/15/60 秒目标时长拼接，最多 13 镜头；Gemini 2.5 Flash 生成全局 prompt + 每镜头 prompt；约 40 万多镜头样本，基于 阿里通义万相 Wan（2.1 / 2.2 / 2.5） 2.2 微调，480×832 [10]。
• 商业模型：Kling 3.0 单次最多约 6 次镜头切换的分镜生成（第三方）；Wan 2.6（2025-12）带多镜头与 reference-to-video（第三方）。Seedance 2.0 摘要页未提多镜头。

参考生成/主体一致性配对

• 核心问题：同一视频内取帧做参考会导致 "copy-paste"，模型把参考图背景一起复制；解法是跨视频/跨上下文配对。
• Phantom-Data（ByteDance，arXiv 2506.18851，ICLR 2026）：三阶段。(1) 主体检测：采样 5%/50%/95% 位置帧，Qwen2.5 抽关键词、Qwen2.5-VL 做 grounding，框面积 4%-90%；(2) 在约 5300 万视频（含公开 Koala-36M + 内部库）与 30 亿图（LAION）的检索库里找同一身份的不同上下文；(3) ArcFace/CLIP 类嵌入 + VLM 成对验证。成品约 100 万跨对样本（约 72 万单主体、28 万多主体，3 万+ 多主体场景）[11]。
• 昆仑万维 SkyReels（V2 / A2） A2（Skywork，arXiv 2504.02436）：视频-参考图-prompt 三元组约 200 万；YOLO11 + RetinaFace + Sapiens 检测，CLIP 做文本-实体匹配，参考图取自其他 clip，背景取覆盖最大的帧并抠除前景；全自动，未提人工复核；视频来源未披露 ⚠️ [12]。
• 产品侧：生数 Vidu Q2 reference-to-video（2025-10-21）最多 7 张参考图；Q2 Pro 支持 2 视频 + 4 图参考（二手）；Seedance 2.0 开放平台最多 3 视频 + 9 图 + 3 音频参考；Kling Elements、Wan 2.6 参考视频同理。各家训练数据构造细节均未披露，推测沿用类似跨 clip 配对（推测，非来源）[13]。

相机控制/3D/4D

• RealEstate10K：约 8 万 clip、约 1000 万帧，来自约 1 万条 YouTube 房产视频，位姿由 SLAM + BA 反推；静态室内为主，俯仰/滚转多样性低（二手汇总页数字）[14]。
• DL3DV-10K：10,510 段 4K 视频、5120 万帧、65 类兴趣点场景（CVPR 2024，实拍静态，运动幅度大于 RE10K）[15]。
• MultiCamVideo（ReCamMaster（UE5 多机位合成），快手，arXiv 2503.11647）：Unreal Engine 5 合成，40 个 3D 环境、13.6K 动态场景 × 10 机位 = 136K 视频；轨迹数 v1 摘要称 122K、HF 镜像称 112K（冲突，未定）。作者理由是"无合格公开数据"[16]。
• SpatialVID（NJU，arXiv 2509.09676，CVPR 2026）：人工筛选 YouTube 33,443 段（21,789 小时，用 "walk/tour/drone" 等关键词）→ 切成 3-15 秒 → 美学/亮度/OCR/运动四项过滤 → 271 万 clip、1.276 亿帧、7,089 小时；改造的 MegaSaM 估位姿与深度，SAM2 动态掩码，Gemini-2.0-Flash + Qwen3-30B 做结构化 caption；HQ 子集约 37 万 clip、约 1,111 小时 [17]。
• Hunyuan-GameCraft 用 MonST3R 对游戏录像反推 6-DoF 相机轨迹（见下节），另有约 3,000 条 3D 资产渲染的纯相机运动序列。

动作条件交互世界模型

数据来自三种路线。

路线 1：引擎/脚本合成（可控、动作标签精确）

• Skywork Matrix-Game 1.0（Skywork，arXiv 2506.18701）：Matrix-Game-MC 从 MineDojo 取约 6,000 小时原始 Minecraft 视频，TransNet V2 切镜头 + 三阶段过滤（剔除菜单、字幕、人脸摄像头、静止/过快）→ 约 2,700 小时无标签；有标签部分由 VPT 课程智能体在 MineRL 里生成（16Hz 逐帧键鼠）+ Unreal Engine 程序化场景（带运动学真值），合计约 1,000+ 小时标签、均衡后 1,200+ 小时。17B 参数 [18]。
• Matrix-Game 2.0（arXiv 2508.13009）：摘要称约 1,200 小时；正文数据表为约 800 小时（360p）= 153 小时 Minecraft + 615 小时 Unreal Engine，外加 Sekai 真实视频 85 小时，微调集 574 小时（游戏驱动）+ 560 小时（Temple Run）；管线含 navmesh 路径规划、RL 智能体、Enhanced Input 捕获；Script Hook V 录制插件；1.2M+ clip，57 帧/clip，称标注准确率 >99%。论文未点名 GTA5（"GTA5"来自媒体）。1.8B 参数 [19]。

路线 2：真实玩家日志/AAA 录屏

• Microsoft Muse / WHAM（Microsoft + Ninja Theory，Nature）：Bleeding Edge（2020 Xbox 4v4 游戏）真实对局，"超过 10 亿帧图像+手柄动作，约 7 年连续游玩"（约 6.1 万小时，为换算值）；仅录制同意 EULA 的玩家，与 Ninja Theory 及微软合规团队合作，限研究用途；分辨率 300×180；会话/比赛数未披露 [24]。
• Hunyuan-GameCraft（腾讯，arXiv 2506.17201）：100+ AAA 游戏（Assassin's Creed、Red Dead Redemption、Hogwarts Legacy、Cyberpunk 2077 等）；摘要称"超过一百万条录像"，正文称 2-3 小时录像切成 6 秒 clip 得 "1M+ clip，1080p"（两处口径冲突）；PySceneDetect 切分、质量/亮度过滤、RAFT 光流找动作边界、MonST3R 反推相机位姿、游戏专用 VLM 生成 30 字短摘要与 100+ 字详述；后续 GameCraft-2 称数据来自 150+ 款 AAA。游戏授权情况未披露 ⚠️ [25]。
• Decart / Oasis（Oasis，Decart + Etched，2024-10-31）：据媒体称用"数百万小时" Minecraft 画面训练；Decart/Etched 未获微软许可（TechCrunch 指出）；论文级数据说明未查到 ⚠️ [26]。
• MineWorld（Microsoft，arXiv 2504.08388）：用 VPT 数据集，约 1000 万训练 clip（每 clip 16 帧，约 1.6 亿帧），剔除无动作帧与开 GUI 帧；动作离散为 11 token [27]。

路线 3：互联网视频 + 逆动力学/潜动作

• VPT（OpenAI 2022）：少量标注数据训练逆动力学模型，给大量无标签 Minecraft 视频补动作 [27]。
• Genie 1（arXiv 2402.15391）：无监督、潜动作模型，用无标签互联网视频（摘要页未给小时数）。Genie 2 官方博客仅称"大规模视频数据集"。Google DeepMind Genie 3 训练数据官方未披露 ⚠️ [27]。
• Yan（腾讯系，arXiv 2508.08601）：摘要称 1080P/60FPS 实时模拟、分层自回归 caption 注入游戏知识；摘要页未含训练数据。Mirage（Dynamics Lab）仅一篇博客称"网上收集的海量游戏录像"，无一手来源；Odyssey 未查到。

动漫/2D 动画

• Sakuga-42M：首个大规模手绘卡通集，4200 万关键帧、120 万 clip，带视频-文本对与动漫标签；AniSora 论文指出其 80% clip 低分辨率且短于 2 秒 [28]。
• B 站 AniSora（Bilibili，arXiv 2412.10255）：论文称原始 1100 万动画视频（图注写 "1M long videos"，自相矛盾），过滤约 10% 后得 1000 万+ clip；PySceneDetect 切分，文字区域、RAFT 光流（去静止/闪回）、美学分、2-20 秒时长过滤；动作标签超 100 类由人工标注，prompt 由 Qwen-VL2 起草再人工修正；基座 CogVideoX；最终微调 100 万超高质量子集，另有 79 万无字幕无水印 SFT 集。片源未点明（"Bilibili"是作者机构，非数据来源声明）[28]。
• MagicAnime（arXiv 2507.20368）：分层标注、多模态卡通生成数据集；详情未读取 ⚠️ [28]。
• 本品类缺少"算法从大池子构造"的新范式，主要是动漫版权视频库 + 人工动作标注，是动漫生成难的原因之一。

厂商与渠道

中国侧游戏授权供应商未查到 ⚠️。开源数据集：SpatialVID、MultiCamVideo、DL3DV-10K、RealEstate10K、TAVGBench、VGGSound/AudioSet/WavCaps、OpenHumanVid、Phantom-Data（开放程度未逐一核）、Sakuga-42M、Koala-36M、VPT/MineRL/MineDojo。

应用方式

规模、成本与价格

• 世界模型赛道宣传量级差 3-4 个数量级，口径不一（授权量 vs 实训量）。
• Media & the Machine 2026-05 访谈副标题称视频"最高每小时 $1,000"，正文未见支撑，不采信。
• 自动管线的成本主要是算力（SyncNet/MegaSaM 等对百万视频打分），无公开单位成本。

局限与争议

• 版权/授权：Google Veo（2 / 3 / 3.1） 3 用 YouTube 库且创作者无法退出；Vermillio Trace ID 称 Veo 3 输出与现有 YouTube 内容相似度高（二手）[7]。CODA（含吉卜力、万代南梦宫、Square Enix 成员）2025-10-27 要求 OpenAI 停止用其作品训练 Sora 2，称日本法要求事前许可、事后 opt-out 无效（见 Sora 2 opt-out 争议与 CODA 函）；诉讼与授权交易未查到 [29]。Oasis 未获微软许可 [26]。Medal 用户剪辑是否同意用于训练：报道未涉及 ⚠️。
• 游戏数据质量：Nvidia 的 Ming-Yu Liu 认为游戏输入对精细操作适配差；学者认为游戏物理"有因果但粗糙"（WIRED 转述）。授权小时数衡量可用量，不代表模型效果提升 [21]。
• 论文数字不自洽：见下节。
• 同步脆弱：Ovi（音视频联合生成） 作者称少量不同步数据即损害口型；公开 AudioSet 类数据画面-声音相关性弱 [1]。
• 相机估计误差：MegaSaM 在动态物体占主导或相机与物体共线运动时失败；位姿为伪标签 [17]。
• 闭源信息缺口：Seedance 2.0、Kling、Wan、Sora 2 的新品类数据来源均未披露。
• 法律背景见 诉讼监管章。

口径冲突与未核实

另未查到：Sora 2 系统卡正文（403）；Seedance 2.0 / Kling / Wan 训练数据；Odyssey、Dynamics Lab、Yan 的数据细节；Mirage 一手来源；Hallo3/VoxCeleb2/HDTF 规模；动漫商业授权交易；Kling Elements 数据构造。

来源

1. Ovi. https://arxiv.org/html/2510.01284v1
2. LTX-2. https://arxiv.org/html/2601.03233v1
3. TAVGBench. https://arxiv.org/html/2404.14381v1
4. OpenHumanVid. https://arxiv.org/pdf/2412.00115
5. Seedance 2.0. https://arxiv.org/abs/2604.14148
6. Kling 2.6/3.0（第三方）. https://vercel.com/ai-gateway/models/kling-v2.6-i2v/about ；https://gaga.art/blog/kling-3-0/ ；Wan 2.5/2.6（第三方）https://www.mindstudio.ai/blog/what-is-wan-2-5-video-open-source
7. Veo 3 / YouTube（CNBC 转载）. https://www.nbcbayarea.com/news/business/money-report/google-is-using-youtube-videos-to-train-its-ai-video-generator/3896620/
8. LCT. https://arxiv.org/html/2503.10589v1
9. MoC. https://arxiv.org/pdf/2508.21058
10. HoloCine. https://arxiv.org/html/2510.20822v1
11. Phantom-Data. https://arxiv.org/html/2506.18851v1
12. SkyReels-A2. https://arxiv.org/html/2504.02436
13. Vidu Q2. https://www.scmp.com/tech/tech-trends/article/3329800/chinese-ai-start-shengshu-unveils-vidu-q2-challenge-openais-sora
14. RealEstate10K. https://cs.paperswithcode.com/dataset/realestate10k
15. DL3DV-10K. https://arxiv.org/abs/2312.16256v1
16. ReCamMaster / MultiCamVideo. https://arxiv.org/abs/2503.11647v1
17. SpatialVID. https://arxiv.org/html/2509.09676v2
18. Matrix-Game 1.0. https://arxiv.org/html/2506.18701
19. Matrix-Game 2.0. https://arxiv.org/html/2508.13009
20. General Intuition. https://startupfortune.com/general-intuition-raises-320-million-on-the-thesis-that-video-game-footage-is-the-most-underrated-training-data-in-robotics/ ；https://seedtable.com/companies/general-intuition/funding-rounds/seed-2025-10
21. Worldmodeldata. https://worldmodeldata.com/ ；https://superpowerdaily.com/posts/worldmodeldata-says-it-licensed-nearly-1-million-hours-of-game-data-for-ai-training ；https://tech.eu/2026/07/06/worldmodeldata-lands-ps7m-to-turn-gaming-data-into-ai-training/
22. Origin Lab. https://techcrunch.com/2026/05/13/origin-lab-raises-8m-to-help-video-game-companies-sell-data-to-world-model-builders/
23. Claru. https://claru.ai/case-studies/game-based-data-capture
24. Muse / WHAM. https://www.microsoft.com/en-us/research/blog/introducing-muse-our-first-generative-ai-model-designed-for-gameplay-ideation/
25. Hunyuan-GameCraft. https://arxiv.org/html/2506.17201 ；GameCraft-2 https://arxiv.org/pdf/2511.23429
26. Oasis / Decart. https://en.wikipedia.org/wiki/Oasis_(Minecraft_clone) ；https://siliconangle.com/2024/12/19/ai-world-model-startup-decart-reels-32m/
27. MineWorld https://arxiv.org/html/2504.08388v1 ；VPT https://arxiv.org/abs/2206.11795 ；Genie 1 https://arxiv.org/abs/2402.15391 ；Genie 2 https://deepmind.google/discover/blog/genie-2-a-large-scale-foundation-world-model/ ；Yan https://arxiv.org/abs/2508.08601
28. 动漫：Sakuga-42M https://arxiv.org/abs/2405.07425v1 ；AniSora https://arxiv.org/html/2412.10255v2 ；MagicAnime https://arxiv.org/pdf/2507.20368
29. CODA. https://www.windowscentral.com/artificial-intelligence/from-studio-ghibli-to-square-enix-japans-stand-against-openai
30. Troveo / Protege. https://www.troveo.ai/resources/ai-training-data-providers ；https://www.troveo.ai/resources/troveo-vs-protege