概念均衡与数据金字塔
概念与方法清洗字幕
聚类后按簇重采样压低头部概念、保留长尾，是视频预训练配比的通用手段
- 数据类型
- 视频 embedding；聚类标签；类别配比
- 规模口径
- Movie Gen 按簇大小反平方根采样；Hunyuan 约 10K 概念中心；Wan 100 簇（未核）；Cosmos 披露类别占比
原理
网络视频偏向人物、风景、游戏等头部概念。做法是先用 VideoCLIP/CLIP 类 embedding 做 k-means 聚类，再对过大的簇下采样、对稀缺类别补采 [1][2]。
各家做法
- Meta Movie Gen：聚类后按簇大小的反平方根采样 [1]。
- 腾讯 HunyuanVideo（1 / 1.5）：约 10K 概念中心重采样，并以余弦距离去近重复 [2]。
- 字节 Seedance（1.0 / 2.0）与即梦：过度代表的类别下采样，稀缺类别定向采集 [4]。
- NVIDIA Cosmos 世界基础模型：披露最终配比——自然 20%、手部操作 16%、空间导航 16%、驾驶 11%、人体运动 10%、第一人称 8%、动态相机 8%、合成 4%、其他 7% [3]。
- 阿里通义万相 Wan（2.1 / 2.2 / 2.5）（100 簇）、Open-Sora（2.0） 2.0 三级金字塔 ⚠️ 本次未回原文核对。
局限
各家均不公开簇数选择依据与均衡前后的效果对照，配比多为作者自报。
来源
相关卡片
Meta Movie Gen模型 · 美国
公开了完整策展、captioner 与 SFT 流程的闭源视频模型
NVIDIA Cosmos 世界基础模型模型 · 美国
20M 小时原始视频提炼约 1 亿 clip，含 4% 渲染合成，面向 Physical AI
Open-Sora（2.0）模型 · 中国
潞晨开源视频模型，训练成本 $199.6K，披露三段样本量
字节 Seedance（1.0 / 2.0）与即梦模型 · 中国
字节视频生成模型，技报称数据来自公开与授权库，规模未披露
腾讯 HunyuanVideo（1 / 1.5）模型 · 中国
腾讯开源视频模型，1.5 版披露原始超 1000 万小时、预训练约 8 亿片段
阿里通义万相 Wan（2.1 / 2.2 / 2.5）模型 · 中国
阿里开源视频模型，技报写明"内部版权来源加公开数据"及完整过滤账
卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。