清洗、切分、打分与字幕管线

一句话结论

1. 漏斗留存率几乎无人披露。Cosmos、阿里通义万相 Wan（2.1 / 2.2 / 2.5） 2.1、腾讯 HunyuanVideo（1 / 1.5）、Meta Movie Gen、阶跃 Step-Video-T2V、Sand AI MAGI-1、字节 Seedance（1.0 / 2.0）与即梦 1.0、LongCat-Video 中，只有 Wan 给出"预处理去掉约 50%"，Cosmos 给出"语义去重去掉约 30%"加"DOVER 底部 15%"，HunyuanVideo 给出"每级保留前一级的 1/2 到 1/5"[1][2][3]。
2. 管线骨架高度同质：PySceneDetect（部分叠加 TransNetV2）切镜，规则或小模型打标（美学、运动/光流、OCR、水印、模糊、黑边），VideoCLIP/CLIP 类 embedding 做 k-means 聚类去重与概念均衡，自研 VLM 密集 caption。差异主要在 captioner 规格与阈值，不在流程。
3. Captioner 全部自研或微调开源 VLM：Movie Gen 用 LLaMa3-Video 8B/70B（均约 100 词），Cosmos 用内部 VILA 13B（均 97 词），Seedance 用 Tarsier2（字节视频 captioner） 微调。caption 长度从 13.2 词（Panda-70M）涨到 202 词（Koala-36M），主流预训练 caption 约 100 词 [1][4][5][6]。
4. 成本数据极少，最可靠的一条来自 NVIDIA：NVIDIA NeMo Curator（视频） 处理 2000 万小时，基线 3.4 年，H100+L40S 41 天，GB200+L40S 14 天（公司口径）[7][7b]。ShareGPT4Video 给出唯一明确的 caption 成本：4.8M clip（约 3000 小时）约 4000 H100 GPU 小时 [8]。
5. 工具层是"开源管线 + 云 GPU 编排"：NeMo Curator（Ray 底座）、Data-Juicer 2.0、Anyscale Ray Data 教程是公开可查的三条线；Encord、Coactive AI 偏数据管理、检索与标注，不是预训练规模的清洗引擎；头部实验室仍以自建为主。

生产方式

标准管线

管线阶段对照表（阶段 → 常用工具 → 技报采用情况）

各家管线细节

NVIDIA Cosmos（技报口径）[1]

• 原始约 2000 万小时，720p-4K，来源为专有数据集 + 公开互联网视频。
• 切镜：对比 PySceneDetect、Panda70M、TransNetV2、AutoShot（自建 ShotBench），采用 TransNetV2，阈值 0.4；短于 2 s 丢弃，长于 60 s 截为 60 s。
• 过滤：运动（光流 ViT 分类器，去静态与手持抖动）、DOVER 去底部 15%、美学阈值 3.5、文字叠加（InternVideo2 embedding + MLP）、视频类型（游戏、动画等，分类学 MLP，兼做再均衡）。
• 去重：k=10,000 的 k-means 语义去重，约 30% 训练数据被去掉。
• 产出：预训练约 1 亿 clip；微调约 10^7 clip；论文未给分阶段留存数。
• Captioner：内部 VILA 13B，微调用于视频 caption，经小规模人评选于 VFC、Qwen2-VL 之上；每 clip 均匀采 8 帧；平均 559 字符 / 97 词；FP8 TensorRT-LLM 比 PyTorch 半精度快约 10 倍（1.96 vs 0.21 clip/s）。
• 基建：Anyscale Ray、RAPIDS 多节点 GPU k-means；论文未报告管线 GPU 小时。⚠️ 原文引言称"每 256 帧"出 caption，与标注节"8 帧"表述不一致。

阿里通义万相 Wan（2.1 / 2.2 / 2.5） 2.1（技报口径）[3]

• 规模仅称"数十亿"视频与图像。四步清洗，覆盖基础维度、视觉质量、运动质量；基础维度含文字检测、美学（LAION-5B 分类器）、NSFW、水印/logo、黑边裁剪、过曝、合成图检测、模糊；视频需长于 4 s。
• 留存：预处理"去掉约 50% 初始数据"，其后进入语义选择；无后续级数。
• 视觉质量：数据分 100 簇，每簇抽样；人工 1-5 分标注后训练专家模型给全量打分。运动分六档（optimal、medium、static、camera-driven、low-quality、shaky），部分档降权或剔除。
• 后训练：图像取专家分前 20% 加人工搜集；视频分 12 大类，平衡简单/复杂运动。
• Captioner：LLaVA 式（ViT 编码器 + 两层投影 + Qwen LLM），3 fps，最多 129 帧；每样本给长/中/短及多风格 caption，平均长度未披露。切镜工具：所检页面未提及。
• Wan 2.2 官方称相比 2.1 图像 +65.6%、视频 +83.2%，并加入带光照/构图/对比度/色调标签的美学数据（公司口径，经二手镜像核实，未取到官方博客原文）[17]。

腾讯 HunyuanVideo（1 / 1.5） 与 1.5[2][18]

• 切镜：PySceneDetect 为主，并用 TransNet v2；OpenCV Laplacian 选清晰首帧。
• 去重/均衡：VideoCLIP embedding 余弦距离去近重复；k-means 约 10K 概念中心重采样。
• 过滤：Dover 美学 + 技术、模糊模型、光流速度（去静态/慢动作）、内部 OCR、YOLOX 类检测器（水印、边框、logo、遮挡、敏感）。
• 分级数据：256p、360p、540p、720p 逐级抬阈值，每级保留前一级的约 1/2 到 1/5；SFT 集约 100 万样本，人工标注美学与运动。图像侧十亿级与亿级两套。
• Captioner：内部 VLM，JSON 结构化七维（Short/Dense Description、Background、Style、Shot Type、Lighting、Atmosphere），带 dropout 与排列组合生成多长度；14 类相机运动分类器。
• 1.5 版：去重和删损坏文件后超过 1000 万小时原始视频，clip 2-10 s，预训练保留约 8 亿高质量片段；三级过滤（基础：边框、拼接、拼图、静态；视觉质量：清晰度/细节/噪声/动态范围四维；美学）；图像侧从 100 亿以上池选 50 亿。Captioner 分图、视频、I2V 指令三类，用 OPA-DPO 降幻觉，中英双语；caption 长度未披露。

Meta Movie Gen[4]

• 预训练 O(100)M 视频-文本对 + O(1)B 图像-文本对；源视频 4 s 到 2 min；最终 clip 4-16 s，单镜头、有非平凡运动。
• 三级过滤：视觉（6 个过滤器，最小边 720 px；横竖比 60/40）、运动（静态检测、VMAF、PySceneDetect 去抖动与幻灯片）、内容（copy-detection embedding 去重；聚类后按簇大小反平方根采样）。
• 高分辨率集：最小边 768 px，80% 横屏，至少 60% 含人。
• Captioner：LLaMa3-Video 8B 与 70B，混合比 70/30，平均 100 词；16 类相机运动分类器。留存率与各级数量未披露。

阶跃 Step-Video-T2V[9]

• 2B 视频-文本对 + 3.8B 图像-文本对；SFT 过滤为 3000 万视频子集。
• 切镜：PySceneDetect AdaptiveDetector + FFmpeg，裁掉首尾各 3 帧。
• 打标：LAION 美学（8 帧均值）、Farneback 光流（mean/max/min）、PaddleOCR、EfficientNet 水印、NSFW、饱和度、Laplacian 模糊、黑边。
• 聚类：内部 VideoCLIP 的 k-means，超 12 万簇；按簇大小与到中心距离过滤。六个预训练子集逐步抬阈值，未给逐级留存。
• Captioner：内部 VLM 出短/稠密两种，相机运动用人工标注数据微调；长度未披露。

Sand AI MAGI-1[10]

• 原始"数十 PB"视频与图像；PySceneDetect 单镜头切分。
• 过滤：DOVER（实验发现仅 technical score 最有效）、LAION 美学（首帧）、HSI 曝光、RAFT 光流 8 FPS + 显著性、相机稳定性、滑动、边框、文字、logo（Florence-2）、角落人脸、多镜头（CLIP 关键帧相似度）；去重用 CLIP+DINOv2 任一超阈值即删；最后 MLLM 终筛并与 caption 合并。
• Captioner：MLLM 对 4-12 关键帧，两阶段提示（结构化属性分析再成文）；自回归 caption 按秒描述。
• 留存：论文仅称数据量逐级 "progressively reduced"；分辨率 256p/360p 到 480p 到 720p，最长 8 s、8 s、16 s，图像:视频 4:1。

字节 Seedance（1.0 / 2.0）与即梦 1.0[15]

• 切镜后最长 12 s；视觉质量模型去模糊/抖动/低美学；安全分类器；水印/字幕/logo 用规则 + 检测模型混合；语义去重（每个近重复簇只保留综合分最高者）；聚类均衡。
• Captioner：Tarsier2（字节视频 captioner），中英标注数据微调，视觉编码器冻结、语言模型全量微调，"动态 + 静态"稠密风格。
• 未披露：caption 长度、各级留存、数据总量。光流评估器仅出现在 Continue Training 子集选择，不在预训练管线描述中。

LongCat-Video（美团）[12]

• PySceneDetect + 内部 TransNetV2 切分，FFmpeg 去黑边；ID+MD5 去重；打分含美学、模糊、文字覆盖、水印，光流去低运动。
• Captioner：微调 LLaVA-Video + Tarsier2 补时序事件；镜头景别/类型和视觉风格用 Qwen2.5-VL；相机运动专用分类器。留存数、caption 长度未披露。

Open-Sora（2.0） 系列（开源，数字最透明）[13][19]

• Open-Sora 1.2：Stage 1 为 WebVid-10M 约 4 万小时（全部低于 360p 且带水印）；Stage 2 从 Panda-70M 官方 30M 子集按美学低于 4.5 过滤，剩约 2000 万 clip（4.1 万小时）；Stage 3 约 200 万 clip、5000 小时，来自 Pexels/Pixabay/Mixkit、MiraData、Vript 等；非 GPT 标注部分用 PLLaVA 13B（每视频 4 帧）；整体约 3.5 万 H100 GPU 小时训练。
• Open-Sora 2.0：预处理删除短于 2 s、bpp 低于 0.02、帧率低于 16 fps、宽高比超出 [1/3, 3] 的 clip；FFmpeg 切镜，超 8 s 截为 8 s；训练集 7000 万（256px T2V）、1000 万（256px T/I2V）、500 万（768px T/I2V）的"数据金字塔"；256px 用 LLaVA-Video 标注，768px 用 Qwen 2.5 Max；训练成本 $199.6k（4160 GPU-days，按 H200 $2/卡时假设）。

开源数据集的漏斗

• Panda-70M：3,790,459 条 HD-VILA-100M 长视频切成 70,817,169 条 clip，平均 8.477 s；切镜两阶段（PySceneDetect ContentDetector 阈值 25 + ImageBind 拼接，距离 0.6 以内合并）；去近重复（欧氏距离 0.3 以内）；caption 平均 13.2 词；用 8 个教师 captioner 加 Unmasked Teacher 选最优 [6]。
• Koala-36M（可灵）：同 Panda-70M 原始池，切镜 + caption 后约 4800 万 clip，经 VTSS 视频训练适用性评分 过滤得 3600 万；VTSS 阈值 2.5；caption 平均 202 词，先 GPT-4V 再微调 LLaVA 全量标注；切镜用 Color-Struct SVM，召回 0.9395、精度 0.7547，720p 单次 6.15 ms（PySceneDetect HSL 基线 10.73 ms）[5]。
• 智谱 CogVideoX：6 个负标签（Editing、Lack of Motion Connectivity、Low Quality、Lecture Type、Text Dominated、Noisy Screenshots），基于 Video-LLaMA 做 6 个分类器，标注 2 万条训练；光流 + 美学阈值训练中动态调整；最终约 3500 万单镜头 clip，平均约 6 s，另加 20 亿图像。caption：Panda70M 短 caption + 每 2 s 抽帧 CogVLM 稠密描述 + GPT-4 汇总（上限 100 词），再微调 Llama 2 加速，最终蒸馏为端到端 CogVLM2-Caption [20]。

漏斗与留存表（仅列已披露数字）

补充（本文推算，非官方）：Koala-36M 由 4800 万到 3600 万，留存约 75%；Open-Sora 1.2 由 30M 到约 20M，美学过滤去掉约 1/3 的 clip。HunyuanVideo 1.5 的"1000 万小时到 8 亿 clip"不能直接换算留存：切镜会把长视频拆成多段，过滤后总时长未公布，按平均 6 s 粗算 1000 万小时约 6 亿 clip，与 8 亿同量级，仅说明数量级。

Caption 长度对比表

其他模型的 clip 时长

厂商与渠道

开源 captioner

内部 captioner（不对外）：Movie Gen 的 LLaMa3-Video、Cosmos 的内部 VILA 13B、Wan 的 LLaVA 式模型、Hunyuan 与 Step-Video 的内部 VLM，均仅在技报中描述，无权重公开。

工具与平台

Cosmos Curator：未找到以此命名的独立官方页面，NVIDIA 把 Cosmos 数据管线产品化为 NeMo Curator 视频模块，本章统一称 NeMo Curator（视频）。

应用方式

• 预训练：分级金字塔是共识。低分辨率大池（Open-Sora 7000 万、Hunyuan 256p）训基础运动与语义，高分辨率小池（Open-Sora 768px 500 万、Hunyuan 720p、Movie Gen 768 px 高分集）训画质；每级抬阈值而不是新采集。
• 后训练/SFT：人工分类精选（Seedance 几百类人工采集；Hunyuan 约 100 万人工标注样本；Step-Video SFT 3000 万；Wan 图像取专家分前 20%）。详见 后训练章。
• caption 用法：多长度混合与 dropout 是通行做法（Wan 长/中/短，Hunyuan 排列组合 dropout，Movie Gen 两档模型混合）；相机运动单独分类后写入 caption。合成 caption 的角度见 合成数据章。
• 打分作条件而非过滤：Open-Sora 1.2 把美学分写进 caption 当条件；Koala-36M 同样把美学等指标作 metric condition。
• 安全：过滤阶段含 NSFW/暴力分类（Seedance、Wan、Step-Video）；Cosmos 管线还删游戏与动画类以满足物理 AI 定位。
• 源数据集背景见 网络开源章。

规模、成本与价格

观察：caption 是管线中最贵环节。NVIDIA 基准中 Cosmos 与 Nemotron 标注阶段是 GPU 重头（示例中一个 stage 比另一个快 20 倍，需成比例分配 GPU，各阶段算力差一个数量级）；Cosmos 用 FP8 TensorRT-LLM 把 captioner 提速 10 倍，侧面印证 caption 吞吐是瓶颈。

局限与争议

1. 留存率黑箱：多数技报只给最终规模，无各级留存，外界无法复现，也无法判断各家质量门槛的松紧。
2. 阈值不可比：美学阈值（Cosmos 3.5、Open-Sora 1.2 为 4.5）所用打分器版本和帧采样方式不同，数字不可横比。
3. 切镜精度：Koala-36M 自测 Color-Struct SVM 精度 0.7547，说明切镜本身仍有显著误差（作者口径）。
4. caption 幻觉：Hunyuan 1.5 专门用 OPA-DPO 降幻觉，侧面说明密集 caption 幻觉是实际问题；Panda-70M 的 13.2 词短 caption 被后续工作（Koala-36M 202 词）取代。
5. 版权：源视频多来自 YouTube 衍生数据集（HD-VILA、Panda-70M、Koala-36M 同源），过滤管线不解决授权问题，见 诉讼监管章。
6. 公司口径：NeMo Curator 的 3.4 年到 14 天对比，基线是"未优化 CPU 管线"，且含 ISO power 对比脚注，不是同硬件公平对比。
7. 来源可靠性：部分数字经抓取摘要提取，Cosmos 的 "8 帧" 与 "256 帧" 在原文内部不一致，引用前宜对照 PDF。

口径冲突与未核实

未查到项：Activeloop 融资与视频产品细节；Aria 的视频 caption 数据；Wan、Seedance、MAGI-1、Movie Gen 的管线 GPU 小时与分级留存；Qwen2.5-VL 作为 captioner 规模化使用的数字；各家相机运动分类器精度。

来源

1. Cosmos World Foundation Model Platform, arXiv 2501.03575, https://arxiv.org/html/2501.03575 （访问 2026-10-15）
2. HunyuanVideo, arXiv 2412.03603, https://arxiv.org/html/2412.03603
3. Wan, arXiv 2503.20314, https://arxiv.org/html/2503.20314
4. Movie Gen, arXiv 2410.13720, https://arxiv.org/html/2410.13720
5. Koala-36M, arXiv 2410.08260, https://arxiv.org/html/2410.08260
6. Panda-70M, arXiv 2402.19479, https://arxiv.org/html/2402.19479 7b. NVIDIA, Accelerate Custom Video Foundation Model Pipelines with New NVIDIA NeMo Framework Capabilities（20M 小时口径）, https://developer.nvidia.com/blog/accelerate-custom-video-foundation-model-pipelines-with-new-nvidia-nemo-framework-capabilities
7. NVIDIA, Petabyte-scale video processing with NeMo Curator, https://developer.nvidia.com/blog/petabyte-scale-video-processing-with-nvidia-nemo-curator-on-nvidia-dgx-cloud/ ；文档 https://docs.nvidia.com/nemo/curator/latest/curate-video/index.html
8. ShareGPT4Video, arXiv 2406.04325, https://arxiv.org/html/2406.04325
9. Step-Video-T2V, arXiv 2502.10248, https://arxiv.org/html/2502.10248
10. MAGI-1, arXiv 2505.13211, https://arxiv.org/html/2505.13211
11. PySceneDetect 在 Panda-70M 中的使用见 [6]
12. LongCat-Video, arXiv 2510.22200, https://arxiv.org/html/2510.22200
13. Open-Sora 2.0, arXiv 2503.09642, https://arxiv.org/html/2503.09642
14. Data-Juicer 2.0, arXiv 2501.14755, https://arxiv.org/html/2501.14755v2
15. Seedance 1.0, arXiv 2506.09113, https://arxiv.org/html/2506.09113
16. Anyscale 视频 curation 教程, https://docs.anyscale.com/tutorials/video-curation
17. Wan2.2 README 镜像（二手）, https://huggingface.co/datasets/SuperCS/useful_code/blob/main/exp_code/1_benchmark/Wan2.2/README.md
18. HunyuanVideo 1.5, arXiv 2511.18870, https://arxiv.org/html/2511.18870v2
19. Open-Sora 1.2 报告, https://raw.githubusercontent.com/hpcaitech/Open-Sora/main/docs/report_03.md
20. CogVideoX, arXiv 2408.06072, https://arxiv.org/html/2408.06072
21. Tarsier2, arXiv 2501.07888, https://arxiv.org/pdf/2501.07888
22. CogVLM2-Caption, https://huggingface.co/THUDM/cogvlm2-llama3-caption
23. Encord 融资, https://pulse2.com/encord-ai-data-development-company-raises-30-million-series-b
24. Coactive 融资, https://lw.com/en/news/2024/05/latham-watkins-advises-coactive-ai-in-us30-million-series-b-funding-round