video2dataset

原理

LAION 系开源工具，输入视频 URL 列表，借助 yt-dlp 下载，输入支持 yt-dlp 的全部站点，并打包成训练可用的分片格式，可附带切分、光流等后处理。

吞吐

项目 README 声称单台 16 核机器可在 12 小时内下载并打包 1000 万视频（项目口径）[1]。文档同时说明 YouTube 来源明显慢于直链 MP4，带宽与 YouTube 限速另计。这是视频抓取环节唯一可引用的公开吞吐，无公开单位成本。

局限

工具只解决获取与打包，不解决授权：从平台抓取的内容继承版权与平台条款风险，视频数据集（如 Panda-70M、InternVid）多以 URL 列表分发，使用者需自行下载。

来源

1. https://github.com/iejMac/video2dataset (2026-10-15)