公开网络视频与开源数据集

一句话结论

1. 开源视频文本数据集的实质是"URL + 时间戳 + 生成字幕"的索引，视频本体仍须从 YouTube 下载。主要大数据集的源头收敛到 HD-VILA-100M（YouTube，约 330 万视频）：Panda-70M、Koala-36M、VidGen-1M 均从同一批原始视频派生，OpenVid-1M / OpenVidHD-0.4M 又取自 Panda 子集。一篇 NeurIPS 2026 论文摘要称，约 73.3% 的主要视频数据集（按数据集个数计，非按视频条数）来自 YouTube，且撤回 HD-VILA-100M 一个数据集就可能牵连另外 5 个相关数据集（论文自报，已核摘要原文）。[1]
2. 字幕范式的演进：ASR 转写（HowTo100M、HD-VILA，词均 32.5）→ 多模型短字幕（Panda-70M，词均 13.2）→ VLM/GPT-4V 长结构化字幕（MiraData 318 词、Koala-36M 202 词、UltraVideo 824 词）。ASR 多半不描述画面，今天主要作为字幕器的辅助输入。
3. 法律风险从"学术数据集许可模糊"升级为 DMCA 1201 反规避诉讼：2025-11 起 YouTube 创作者连续起诉 Nvidia、Meta、ByteDance、Snap、Amazon、Apple、OpenAI，见 YouTube 创作者系列诉讼（DMCA 1201）。截至 2026-10 未查到任何实体裁决。
4. WebVid-10M（Shutterstock 预览片，1070 万条，约 5.2 万小时）是已确认被下架的主流数据集之一，曾支撑 30 余个视频生成模型（论文口径）。时间线：项目 GitHub 页注明因 Shutterstock 的停止函（cease and desist）数据集不再提供，并称自 2024-02-23 起连 URL 也无法再提供；停止函本身的发出日期未公开，Shutterstock 无官方声明。Shutterstock 同期把同类素材转为付费授权（2023 年 data 授权收入约 1.04 亿美元，2024 年 1.203 亿美元，10-K 口径）。Shutterstock
5. 2025–2026 新数据集趋势是"小而精 + 结构化/空间标注"：UltraVideo（4K/8K）、SpatialVID（270 万 clips 带相机位姿）、VideoUFO（CC 许可路线）（CC 许可 YouTube，109 万 clips）、Action100M（120 万教学视频）。闭源头部模型的数据为"数十亿级"口径且不公开，开源数据集已不是前沿数据主体，仅是研究、微调与评测底座。

生产方式

通用流水线：URL 索引 → 本体 → 切片 → 过滤 → 字幕

• 获取：视频 URL 列表经 yt-dlp / youtube-dl 下载。video2dataset（MIT 许可）声称单台 16 核机器 12 小时可下载并打包 1000 万视频；其文档说明 YouTube 来源明显慢于直链 MP4。[2]
• 切分：PySceneDetect / TransNetV2 做镜头检测。SVD 用三档 FPS 级联，使 clips 数约 4 倍；Cosmos 实测 TransNetV2 最优。[3][4]
• 过滤：光流（RAFT）去静态、美学分、OCR 去文字、VTSS 视频训练适用性评分（Koala-36M 提出的视频训练适用性评分）、语义去重（Cosmos 用 k-means k=10,000，去除约 30%）。
• 字幕：Panda-70M 用 8 个教师模型（候选 31 个）加微调 Unmasked Teacher 检索选优；智谱 CogVideoX 用 CogVLM 逐帧加 GPT-4 汇总再微调 Llama2 放大；Koala-36M 用 GPT-4V 标注数据微调 LLaVA；UltraVideo 用 Qwen2.5-VL-72B。
• 人力：Panda-70M 人工标注 10 万视频子集训练检索模型；Koala-36M 约 20 万视频由 8 位专家打分训练 VTSS。其余基本无人工。[5][6]
• 吞吐与单位成本：无公开单位成本。唯一可引用的吞吐为 video2dataset 的 1000 万视频 / 12 小时 / 16 核（带宽与 YouTube 限速另计）。

抓取规模的泄露与诉讼口径（均为报道或原告指控，非已证事实）

• Nvidia：404 Media 2024-08-05 报道员工被要求从 YouTube、Netflix 等抓取视频（项目名 Cosmos），标题称"每天一个人类一生时长"；Nvidia 称"完全符合版权法的文字与精神"。[7] 详见 Cosmos 训练数据抓取争议。
• Nvidia 诉讼（N.D. Cal.，2025-11-26 提起）：原告称 Nvidia 2024-05 称已下载 3850 万视频 URL（诉状指控，Law360 转述）；2026-07-23 在 San Jose 就驳回动议举行听证，Nvidia 抗辩称任何人都能观看这些视频，未查到裁决。[8]
• Cosmos 技术报告口径：约 2000 万小时原始视频（720p–4K），来自专有数据与公开互联网视频；预训练约 10^8 clips、微调约 10^7 clips；未披露源视频授权细节。[4] 见 NVIDIA Cosmos 世界基础模型。
• Runway Gen-3：404 Media 2024-07-25 依据泄露内部表格报道，训练数据含数千个热门 YouTube 创作者/品牌视频及盗版电影；Runway 此前仅称"使用精选的内部数据集"。[9] 见 Runway 训练数据泄露表。
• The Atlantic（2025）：至少 1500 万 YouTube 视频被大公司用于训练数据（含研究用途）。Nieman Lab 2025-10-30 据此统计：Fox News 频道超 88,000 条，ABC News 约 70,000 条，NYT 官方频道 11,604 条分布在 11 个数据集，其中超 8,000 条来自 Runway Gen-3 数据源（Nieman Lab 原文无法访问，这组数字未能复核）。[10] 见 The Atlantic 视频数据集调查。
• OpenAI：NYT 2024-04 报道用 Whisper 转写超 100 万小时 YouTube 视频用于 GPT-4（文本模型，属字幕/ASR 作为数据的旁证）；YouTube CEO 称这将"明确违反"服务条款；Sora 是否使用 YouTube 数据未获证实。[11]
• Proof News（2024-07-16）：Pile 的 YouTubeSubtitles 子集含 173,536 个视频的字幕，被 Apple、Nvidia、Salesforce、Anthropic 等用于训练语言模型。这是文本字幕而非视频，应与视频生成区分（二手转述）。[12]

厂商与渠道

数据集血缘：HD-VILA → Panda / Koala / VidGen → OpenVid

多数"大"开源视频集并非独立采集，而是同一批 YouTube 原始视频的逐级再筛选与再标注。

YouTube 公开视频
  └─ HD-VILA-100M（Microsoft，2021）  330 万视频 / 1 亿 clips / ASR 字幕（词均 32.5）
       ├─ Panda-70M（Snap/CMU/Trento，2024）  取其 380 万高分辨率长视频 → 7080 万 clips，8 教师模型短字幕（词均 13.2）
       │     ├─ OpenVid-1M（南大，2024）  取 Panda-50M + ChronoMagic + Open-Sora-plan + CelebvHQ → 102 万 clips，LLaVA 长字幕
       │     │     └─ OpenVidHD-0.4M  1080p 子集 43.3 万 clips
       │     └─ Open-Sora 1.2  取 Panda 1000 万高质量子集
       ├─ Koala-36M（快手可灵，2024）  与 Panda-70M 同一批原始视频 → VTSS 筛出 3600 万 clips，GPT-4V 蒸馏字幕（词均 202）
       ├─ VidGen-1M（复旦，2024）  380 万 HD-VILA 视频 → 约 1.08 亿 clips → 精选约 100 万，VILA + Llama 3.1 精修
       └─ MiraData（腾讯 ARC 等，2024）  部分取自 HD-VILA，另加精选频道、Videvo、Pixabay、Pexels

血缘的三个含义：

1. 许可是继承的。Panda-70M 的数据使用须遵守 HD-VILA 许可，OpenVid-1M 标 CC-BY-4.0 但注明须服从 Panda 等多个上游许可。而 HD-VILA 本身只是对 YouTube 视频的索引，不能授予视频版权，因此链条最上游的权利是空的。
2. 风险是共享的。诉讼点名 HD-VILA-100M（Snap 案）、Panda-70M（Apple 案），一旦上游被撤回，整个下游族群的可复现性与合规性同时受损。[1][13]
3. 改进集中在字幕与筛选，不在视频来源。从 HD-VILA 到 Panda 是"ASR → 多模型字幕"，到 Koala 是"阈值堆叠 → VTSS 专家打分"，到 OpenVid 是"短字幕 → 长字幕 + 高分辨率子集"，原始视频池始终是同一个。

大数据集对比总表

数字均为作者自报口径；"未查到"表示本次检索未获一手来源。

补充条目（规模或来源未查全）：DropletVideo-10M（浪潮，1000 万视频，字幕均 206 词）、Sekai（上海 AI Lab 等，>5,000 小时第一人称步行/无人机）、OpenHumanVid（人像视频，规模未查到）、Kinetics-400/600/700（DeepMind，动作类别标签，无自然语言字幕）、ShareGPT4Video 与 LLaVA-Video-178K（理解侧字幕/QA，受 OpenAI 使用政策约束）。

抓取与商业渠道

应用方式

• 预训练（主用途）：开源数据集多作"低成本底座 + 学术/小模型训练"。Make-A-Video 的时序组件在 WebVid-10M 加 HD-VILA-100M 的 1000 万 clip 子集上学习运动，图文骨干用 LAION-5B 的 23 亿图像子集。[14]
• Open-Sora（2.0）：1.2 版使用 Panda-70M 的 1000 万更高质量子集、WebVid-10M，以及 Pexels / Pixabay / Mixkit 等 stock 站（镜像文档口径，随版本变化）。[30]
• 智谱 CogVideoX：约 3500 万单镜头 clips（均 6 s），另 20 亿美学筛选图像；最后阶段用质量最高的 20% 数据；论文未声明视频来自 Panda-70M，仅用其字幕器。[31]
• Stability Stable Video Diffusion（LVD）：LVD 5.8 亿 clips（约 212 年），过滤后 LVD-F 约 1.52 亿 clips（约 50.6 年）；源视频未披露。头部开放权重模型的数据体量比公开数据集大一个数量级。[3]
• 阿里通义万相 Wan（2.1 / 2.2 / 2.5）：官方称"数十亿图像与视频"，数据不公开；二手博客称初始 15 亿视频 / 100 亿图像，未能证实。[32]
• Cosmos 配比（少数披露混合配比之一）：自然 20%、手部操作 16%、空间导航 16%、驾驶 11%、人体运动 10%、第一人称 8%、动态相机 8%、合成 4%、其他 7%。[4]
• 后训练/微调：OpenVidHD-0.4M（1080p）、UltraVideo（4K）、MiraData（长视频）常作高质量收尾数据；Cosmos 微调约 10^7 clips。
• 理解侧（非生成）：ShareGPT4Video、LLaVA-Video-178K、Vript 的字幕/QA 训练视频 LMM 与字幕器，再反哺生成数据标注（Koala-36M 字幕器即由 GPT-4V 数据蒸馏）。
• 评测：VideoUFO 同时提供 BenchUFO，比较 16 个 T2V 模型。
• 字幕与 ASR 的角色：HowTo100M / HD-VILA 以 ASR 为标签，噪声大。Panda-70M 论文指出字幕"通常不包含视频主要内容与动作"，字幕仅作教师模型的可选输入；InternVid 同样认为 ASR 很少描述可见内容，转写只用于交错格式。Panda-70M 也承认源视频以语音密集内容（新闻、电视、纪录片、教学）为主，是 ASR 驱动采样偏差的遗留。[5][18]

规模、成本与价格

自抓的边际成本主要是带宽与反封锁（IP 轮换为原告指控口径），而合规授权成本以"千万美元/家"计，两者差距是诉讼动机的经济基础。

局限与争议

• 许可链条断裂：Panda-70M / Koala-36M / VidGen-1M 的数据许可依附 HD-VILA 条款，而 HD-VILA 只是 YouTube 视频索引。OpenVid-1M 标 CC-BY-4.0 却须服从多个上游许可；MiraData、LLaVA-Video-178K 的卡内许可条款自相矛盾。
• 诉讼：原告均为同一律所体系的创作者（Ted Entertainment / h3h3、Matt Fisher / MrShortGame Golf、Golfholics，合计约 620 万订阅，Snap 案口径）。详见 YouTube 创作者系列诉讼（DMCA 1201）。
  • Nvidia（N.D. Cal.，2025-11-26）；另有 David Millette 的独立诉讼。
  • Snap（C.D. Cal.，2026-01-26）：点名 HD-VILA-100M 及其他"仅限学术"数据集，求偿法定赔偿与永久禁令。
  • Amazon（W.D. Wash.，2026-04-03）：Nova Reel；指控自动下载工具加虚拟机轮换 IP。
  • Apple（N.D. Cal.）、OpenAI（Sora）：与 Amazon 案同日（2026-04-03）提起；据 Piracy Monitor，三案诉状列出 HD-VILA-100M、HD-VG-130M、Panda-70M、HowTo100M 四个学术数据集；Apple 案援引 Apple 研究者论文提到的 Panda-70M，Apple 回应称基础模型用"授权材料、合成数据与负责任的网络爬取公开数据"。
  • 同组原告此前还起诉 Meta、ByteDance。
  • 法律理论是 DMCA 1201 反规避而非单纯侵权；Nvidia 抗辩称任何人都能观看这些视频，因而不是访问控制。均未查到裁决（截至 2026-10）。[13]
• 平台政策：YouTube 2024-12 起提供创作者"允许第三方 AI 训练"开关，默认关闭，但对已有数据集无追溯力，详见 YouTube 第三方训练授权设置。
• 数据集下架风险：WebVid-10M 下架使 30+ 模型可复现性受损；NeurIPS 2026 论文据此主张转向 CC 许可、公共领域、创作者 opt-in、来源追踪、发布时合规检查（视频生成需要合法可持续的数据基础设施（NeurIPS 2026））。项目 GitHub 页注明 2024-02-23 起连 URL 也无法提供，未见 Shutterstock 官方声明。
• 数据质量偏差：Panda-70M 自承偏向语音密集内容；Koala-36M 的表格时长与 clip 均长自相矛盾；OpenVid-1M 论文内部出现"over 11 million"与 100 万的矛盾。
• 隐私：Panda-70M 用 NLTK 将人名替换为 "person"；其余数据集多无人脸/隐私处理说明。
• 合规替代路线的取舍：CC 许可（VideoUFO）与授权库（见 版权库章）合规性更好，但规模和内容分布受限。

口径冲突与未核实

另有未查到项：Koala-36M 数据许可（HF 页 401）、HD-VILA 许可文件原文、Ego4D 商用条款、Kinetics 精确 clips 与许可、Sekai / DropletVideo / OpenHumanVid 的来源与许可。

来源

1. NeurIPS 2026 论文 Video Generation Research Needs a Legally Sustainable Data Infrastructure（摘要页）：https://neurips.cc/virtual/2026/poster/139996
2. video2dataset：https://github.com/iejMac/video2dataset
3. Stable Video Diffusion：https://arxiv.org/html/2311.15127
4. Cosmos World Foundation Model Platform：https://arxiv.org/html/2501.03575
5. Panda-70M：https://arxiv.org/html/2402.19479 ；https://github.com/snap-research/Panda-70M
6. Koala-36M：https://arxiv.org/html/2410.08260v2
7. 404 Media，Nvidia：https://404media.co/nvidia-ai-scraping-foundational-model-cosmos-project/
8. Bloomberg Law，Nvidia 诉讼：https://news.bloomberglaw.com/ip-law/nvidia-youtubers-fight-over-access-controls-in-copyright-suit ；Law360：https://www.law360.com/articles/2416438/nvidia-faces-more-allegations-of-youtube-ai-scraping
9. 404 Media，Runway：https://404media.co/runway-ai-image-generator-training-data-youtube/
10. Nieman Lab（据 The Atlantic）：https://niemanlab.org/2025/10/hundreds-of-thousands-of-videos-from-news-publishers-like-the-new-york-times-and-vox-were-used-to-train-ai-models
11. Business Today，OpenAI 转写 YouTube：https://www.businesstoday.in/amp/technology/news/story/openai-used-over-1-million-hours-of-youtube-video-data-to-train-gpt-4-ai-model-report-424670-2024-04-08
12. Proof News 二手转述：https://cryptoslate.com/ai-training-dataset-used-by-tech-giants-allegedly-created-by-scraping-youtube-videos-in-violation-of-terms/
13. 诉讼报道：https://www.indexbox.io/blog/snap-added-to-youtuber-lawsuit-alleging-ai-training-copyright-infringement/ ；https://www.law360.com/ip/articles/2461742 ；https://piracymonitor.org/youtube-publisher-sues-apple-amazon-openai-for-using-their-videos-to-train-ai/
14. WebVid-10M 与 Make-A-Video：https://github.com/m-bain/webvid ；https://huggingface.co/datasets/TempoFunk/webvid-10M ；https://arxiv.org/pdf/2209.14792 ；虎嗅：https://m.huxiu.com/article/3331493.html
15. HowTo100M：https://arxiv.org/abs/1906.03327
16. HD-VILA-100M：https://github.com/microsoft/XPretrain/blob/main/hd-vila-100m/README.md
17. HD-VG-130M：https://github.com/daooshee/HD-VG-130M
18. InternVid：https://arxiv.org/html/2307.06942 ；https://huggingface.co/datasets/OpenGVLab/InternVid
19. OpenVid-1M：https://arxiv.org/html/2407.02371 ；https://huggingface.co/datasets/nkp37/OpenVid-1M
20. MiraData：https://github.com/mira-space/MiraData
21. VidGen-1M：https://arxiv.org/html/2408.02629
22. UltraVideo：https://arxiv.org/html/2506.13691
23. VideoUFO：https://arxiv.org/html/2503.01739v2
24. SpatialVID：https://arxiv.org/abs/2509.09676
25. Action100M：https://arxiv.org/abs/2601.10592
26. Ego4D：https://arxiv.org/abs/2110.07058
27. Shutterstock AI 授权：https://the-decoder.com/tech-giants-are-on-a-billion-dollar-shopping-spree-for-ai-training-data/ ；https://petapixel.com/2024/06/04/shutterstock-made-104-million-licensing-assets-to-ai-devs-last-year ；https://getcoai.com/news/shutterstock-lightricks-partnership-offers-example-of-how-to-ethically-source-training-data-for-ai-video
28. YouTube-Commons：https://www.huggingface.co/datasets/PleIAs/YouTube-Commons/blob/main/README.md
29. Common Corpus：https://arxiv.org/pdf/2506.01732
30. Open-Sora 数据文档（镜像）：https://code.nicolabs.net/nicolabs/Open-Sora/src/commit/00fef1d1af0b431ffd4dadea684a2d59d5d880f2/docs/datasets.md
31. CogVideoX：https://arxiv.org/html/2408.06072
32. Wan：https://arxiv.org/abs/2503.20314