Data / 视频生成 / 实体卡片

TAVGBench

数据集中国新品类

AudioSet 派生的 170 万条音视频文本对基线集

数据类型
YouTube 音视频片段；画面字幕；音频字幕
规模口径
170 万条、每条 10 秒、共 11.8K 小时
License
未查到
链接
arxiv.org

内容与规模

来自 AudioSet 的 YouTube 片段，剔除无效后保留 170 万条，每条 10 秒，合计 11.8K 小时 [1]。是文本到音频+视频联合生成的公开基线数据。

标注方式

BLIP2 描述画面、WavCaps 描述音频，再由 ChatGPT 合并改写为统一文本 [1]。

谁拿它训练

音视频联合生成研究（如 Ovi（音视频联合生成） 一类工作的对照基线）。Veo 3、Sora 2、Kling、Seedance 2、Wan 的音频语料来源未发现一手证实；仅 Veo 3 有 CNBC 报道称用 YouTube 库训练（媒体口径）。

已知缺陷

AudioSet 本身来自 YouTube，授权不明；片段固定 10 秒，音画对齐质量依赖自动字幕；许可未查到。

来源

  1. https://arxiv.org/html/2404.14381v1 (2026-10-15)

相关卡片

Ovi（音视频联合生成）模型 · 美国
双骨干音视频联合模型，音频塔预训练数十万小时语音

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。