NVIDIA NeMo Curator(视频)

工具与格式美国清洗字幕

Ray 底座的视频清洗、切分、caption、去重一条龙管线

数据类型
视频;Parquet;WebDataset
规模口径
公司口径:2000 万小时,基线 3.4 年,H100+L40S 41 天,GB200+L40S 14 天
License
开源(NVIDIA)
链接
docs.nvidia.com

原理与实现

NeMo Curator 视频模块以 Ray 为底座,把切分、过滤、caption、embedding、去重编排成一条管线,输出 Parquet 与 WebDataset [1][2]。NVIDIA 把 NVIDIA Cosmos 世界基础模型 的数据管线产品化于此;独立命名的 “Cosmos Curator” 官方页本次未找到,统一称 NeMo Curator(视频)。

吞吐(公司口径)

处理 2000 万小时视频,未优化基线需 3.4 年,H100+L40S 41 天(31x),GB200+L40S 14 天(89x);折算约 1M 小时 720p 视频/天需 2000 张 H100 [1]。

局限

基线是未优化 CPU 管线,且带 ISO power 脚注,并非同硬件公平对比。博文称各阶段算力差一个数量级,需按比例分配 GPU,caption 阶段是 GPU 重头。具体客户未披露。同类开源方案见 Data-Juicer。

来源

  1. https://developer.nvidia.com/blog/petabyte-scale-video-processing-with-nvidia-nemo-curator-on-nvidia-dgx-cloud/ (2026-10-15)
  2. https://docs.nvidia.com/nemo/curator/latest/curate-video/index.html (2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。