Ovi

数据来源与规模

Ovi（arXiv 2510.01284，作者与 Character.AI 相关）视频来自"内部音视频语料"，仅称"millions of videos"；121 帧/24fps 片段，RAFT 光流去静态、美学分过滤、人脸检测平衡单人/多人/无人。音频塔预训练用"数十万小时、主要是 12 秒内语音"（多来自内部）；微调用 5.04 秒片段，公开源为 VGGSound、AudioSet、WavCaps 加内部配对音轨 [1]。

同步过滤与 caption

用 SyncNet 在百万视频规模打分，保留 |offset|≤3 且 confidence>1.5、平均音量≥-60 dB 的片段；作者称少量不同步数据就会损害口型同步。MLLM 输入 7 个等距帧加完整音轨，输出视觉描述与音频描述（说话人年龄/性别/口音/语速/情绪；非语音为音效/背景/音乐）[1]。

对照

ltx-video 的 LTX-2 同样自建音视频 caption，但未披露小时数 [2]。闭源模型（Veo 3、Sora 2、Kling 等）音频语料来源均无一手披露。公开基线见 tavgbench。