Ovi
Dual-backbone joint audio-video model; the audio tower is pretrained on hundreds of thousands of hours of speech
Overview
This profile was compiled from the AI training-data column cards (Video generation); each column's data view is shown below under "Data profile" (in Chinese).
Ovi（音视频联合生成）
双骨干音视频联合模型，音频塔预训练数十万小时语音
- 数据类型
- 内部音视频语料；VGGSound；AudioSet；WavCaps
数据来源与规模
Ovi（arXiv 2510.01284，作者与 Character.AI 相关）视频来自"内部音视频语料"，仅称"millions of videos"；121 帧/24fps 片段，RAFT 光流去静态、美学分过滤、人脸检测平衡单人/多人/无人。音频塔预训练用"数十万小时、主要是 12 秒内语音"（多来自内部）；微调用 5.04 秒片段，公开源为 VGGSound、AudioSet、WavCaps 加内部配对音轨 [1]。
同步过滤与 caption
用 SyncNet 在百万视频规模打分，保留 |offset|≤3 且 confidence>1.5、平均音量≥-60 dB 的片段；作者称少量不同步数据就会损害口型同步。MLLM 输入 7 个等距帧加完整音轨，输出视觉描述与音频描述（说话人年龄/性别/口音/语速/情绪；非语音为音效/背景/音乐）[1]。
对照
ltx-video 的 LTX-2 同样自建音视频 caption，但未披露小时数 [2]。闭源模型（Veo 3、Sora 2、Kling 等）音频语料来源均无一手披露。公开基线见 tavgbench。