NVIDIA NeMo Curator(视频)
Ray 底座的视频清洗、切分、caption、去重一条龙管线
- 数据类型
- 视频;Parquet;WebDataset
- 规模口径
- 公司口径:2000 万小时,基线 3.4 年,H100+L40S 41 天,GB200+L40S 14 天
- License
- 开源(NVIDIA)
- 链接
- docs.nvidia.com
原理与实现
NeMo Curator 视频模块以 Ray 为底座,把切分、过滤、caption、embedding、去重编排成一条管线,输出 Parquet 与 WebDataset [1][2]。NVIDIA 把 NVIDIA Cosmos 世界基础模型 的数据管线产品化于此;独立命名的 “Cosmos Curator” 官方页本次未找到,统一称 NeMo Curator(视频)。
吞吐(公司口径)
处理 2000 万小时视频,未优化基线需 3.4 年,H100+L40S 41 天(31x),GB200+L40S 14 天(89x);折算约 1M 小时 720p 视频/天需 2000 张 H100 [1]。
局限
基线是未优化 CPU 管线,且带 ISO power 脚注,并非同硬件公平对比。博文称各阶段算力差一个数量级,需按比例分配 GPU,caption 阶段是 GPU 重头。具体客户未披露。同类开源方案见 Data-Juicer。
来源
相关卡片
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。