NVIDIA Cosmos World Foundation Models

20M hours of raw video distilled into ~100M clips, including 4% rendered synthetic data, aimed at Physical AI

Overview

Founded: 2025-01
HQ: Santa Clara
Links: https://arxiv.org/abs/2501.03575

This profile was compiled from the AI training-data column cards (Robotics / Video generation); each column's data view is shown below under "Data profile" (in Chinese).

Data profile · 机器人 / 具身

NVIDIA Cosmos（Predict / Transfer）

NVIDIA 开源世界基础模型家族，Predict 生成视频，Transfer 做 sim2real 增强

数据类型: 世界模型；视频生成；合成数据
规模口径: 平台训练集 1 亿视频片段、2,000 万小时原始视频
License: 代码 Apache-2.0；Cosmos 2.5 权重 NVIDIA Open Model License；Cosmos 3 代码与模型 OpenMDW-1.1

组成

平台论文 arXiv 2501.03575，自述累积约 2,000 万小时原始视频，抽取约 1 亿片段 [6]。Predict 2.5 有 2B、14B 两档，最长约 30 秒；Transfer 2.5 以 edge、blur、seg、depth 为控制输入做 sim2real；Cosmos 3（2026-05 发布）有 4B/16B/64B 三档 [1][3][4][7]。

在数据管线里的位置

Transfer 2.5 接收 Isaac 渲染的 edge/depth/seg，把仿真画面变成真实感视频 [2]。Predict 是 gr00t-dreams 的视频基座。

许可与争议

代码 Apache-2.0；2.5 权重按 NVIDIA Open Model License；Cosmos 3 按 OpenMDW-1.1，predict2.5 仓库已停止主动开发 [1][4][7]。YouTube 抓取诉讼见 cosmos-youtube-scraping，未查到判决 [5]。另见 nvidia、worldmodel-generative。

Data profile · 视频生成

NVIDIA Cosmos 世界基础模型

20M 小时原始视频提炼约 1 亿 clip，含 4% 渲染合成，面向 Physical AI

数据类型: 公网视频；专有视频；渲染合成视频
规模口径: 约 20M 小时原始视频 → 约 1 亿预训练 clip（论文口径）

数据规模与构成（一手）

论文称约 20M 小时原始视频（720p–4K），经管线得约 1 亿预训练 clip（2–60 秒）与约 1 千万精调 clip。类别占比：自然动态 20%、手部操作 16%、空间导航 16%、驾驶 11%、人体活动 10%、第一人称 8%、动态相机 8%、渲染合成 4%、其他 7% [1]。4% 对应绝对量约 80 万小时为推算值 ⚠️。

加工管线

切镜→运动过滤→视觉质量过滤→VLM 内容过滤→内部 VILA 13B 微调做 caption→语义去重并分片。NVIDIA 称 nemo-curator-video 在 Blackwell 上 14 天可处理 20M 小时，纯 CPU 逾 3 年（公司口径）[2]。后训练含相机控制、自动驾驶多视角、机器人动作条件。

来源措辞与诉讼

论文称"专有视频数据集 + 公开开放域互联网视频"，未列站点，也未承认抓取 YouTube；此前 404 Media 称内部每日抓取 80 年时长视频，两种口径并列、不矛盾。2025-12 Ted Entertainment 等起诉，称 HD-VILA-100M / HD-VG-130M 指向的视频用于 Cosmos；TNW 称起诉书指控其下载了 3850 万视频 URL（原告主张）[3]，判决未查到。见 cosmos-youtube-scraping、cosmos-transfer。

cosmos-transfer nvidia

Last compiled: 2026-10-15