后训练:SFT、偏好标注与奖励模型

整理 2026-10-15 · 来源与口径标注见正文
本文目录
  1. 一句话结论
  2. 生产方式
  3. 厂商与渠道
  4. 应用方式
  5. 规模、成本与价格
  6. 局限与争议
  7. 口径冲突与未核实
  8. 来源

一句话结论

  1. 后训练数据是"小而贵"的人工环节,各家技报极少披露规模。 明确核到的数字只有:腾讯 HunyuanVideo(1 / 1.5) 精调集约 100 万条人工筛选样本 [4];VideoReward / VideoAlign 18.2 万偏好三元组 [7];VisionReward 约 3.3 万视频、约 200 万 QA [8];VideoScore / VideoFeedback 3.76 万视频、20 位专家、约 4 周 [9]。Meta Movie Gen、字节 Seedance(1.0 / 2.0)与即梦、阿里通义万相 Wan(2.1 / 2.2 / 2.5)、阶跃 Step-Video-T2V、Sand AI MAGI-1 的 SFT/偏好集规模均未披露 ⚠️。
  2. 范式已收敛:人工精选 SFT(按风格 × 运动类型分几百类定向采集 + 人工校验 caption)→ best/worst 偏好对 → 多维奖励模型(基础对齐/运动/美学)→ DPO/GRPO 类对齐。奖励模型多由 VLM 微调而来,反过来降低了新增人工标注的需求(VideoDPO、OnlineVPO 走自动打分路线)[10][11]。
  3. 外部标注商的真实切入点在四类任务:SFT 清洗与 caption 修订、偏好对/多维打分、评测集与 human eval panel、镜头级结构化标注。学术偏好集的标注厂商几乎不披露(VisionReward 仅称 "a specialized company")[8]。
  4. 视频偏好/标注的公开单价基本不存在。 能核到的只有间接锚点:Alignerr 视频标注岗标价 $40-120/h、Mercor 承包者均值约 $85/h、Labelbox 托管标注 "from $10/hr"、国内多模态训练师月薪 5000-7000 元;按条/按分钟的视频偏好报价:未查到 ⚠️ [27][30]。
  5. 新进入者在"众包即时偏好":Rapidata(2026-02 种子轮 $850 万,公司称触达 1500-2000 万人)发布 Veo 3.1 等模型偏好集(约 7.4 万条反馈、约 2.3 万标注者),与专家型标注商(Surge AI/Scale AI/Mercor)形成两极 [14][20]。

生产方式

SFT 精选数据(高质量精调集)

模型 披露的做法 规模 来源
Meta Movie Gen 预训练后经多阶段过滤得"数百万"候选视频;人工标注员手动筛选、选最佳片段、修订 Llama3-Video 生成的 caption;多个 SFT 模型做模型平均 最终 SFT 集规模:未披露 ⚠️ [1]
字节 Seedance(1.0 / 2.0)与即梦 1.0 精选高质量视频-文本对 + 人工校验 caption;按视觉风格、运动类型等分"数百个类别"定向采集;分子集训多个模型再合并 未披露 ⚠️ [2]
阿里通义万相 Wan(2.1 / 2.2 / 2.5) 2.1 精选图像(专家模型评分前 20% + 人工收集顶级图,"数百万")与按视觉/运动质量分类的"数百万"视频,覆盖 12 类;人工对采样聚类(100 簇)按 1-5 分打分,再训专家模型给全量打分;人工密集 caption 用于最后 caption 阶段 总量未披露 ⚠️ [3]
腾讯 HunyuanVideo(1 / 1.5) 精调集约 100 万条,经人工标注筛选(美学:色彩和谐/光照/主体突出/布局;运动:速度/动作完整/运动模糊);人像 I2V 另用约 200 万人像视频精调并人工抽检 约 100 万(公司口径) [4]
阶跃 Step-Video-T2V 自动评分过滤后保留约 3000 万视频子集,人工逐条审查清晰度/美学/运动/转场/无水印字幕 3000 万为过滤后子集,非 SFT 终集 [5]
Sand AI MAGI-1 预训练数据"数十 PB"原始视频/图像,逐阶段降量并加严过滤(DOVER、美学、运动强度、CLIP/DINOv2 去重、MLLM 过滤);SFT/RL 细节未读到 SFT/偏好规模:未查到 ⚠️ [6]

偏好标注(人工)

  • 字节 Seedance(1.0 / 2.0)与即梦 1.0:prompt 取自训练集 + 线上用户并去重;标注员按维度选 best 与 worst,约束"best 在其他维度不劣于 worst";视频来自模型不同阶段 + 其他素材;标注人数未披露 [2]。
  • 阶跃 Step-Video-T2V:prompt 取训练集随机子集 + 标注员按真实用户模式撰写;每个 prompt 多 seed 出视频;人工打偏好,有质检人员监控一致性;对数未披露 [5]。
  • VideoReward / VideoAlign(VideoAlign,快手 KwaiVGI 等):1.6 万 prompt(8 大类,GPT-4o 扩写)→ 10.8 万视频 → 18.2 万成对三元组;视频来自 12 个 T2V 模型(Gen2、SVD、Pika 1.0、PixVerse v1/v2、Dreamina、Luma、Gen3、Kling 1.0/1.5 等);三个维度 VQ(视觉质量)、MQ(运动质量)、TA(文本对齐),成对偏好 + 1-5 Likert;验证集 1.3 万三元组;另有 VideoGen-RewardBench 2.65 万对。标注为"专业标注员",人数与厂商未披露 [7]。
  • VisionReward(THUDM):约 3.3 万视频(CogVideoX/Open-Sora/VideoCrafter2 各 1 万 + Panda-70M 真实视频 3000)、约 200 万 QA;64 个二元问题、9 维/20 子维;标注由 "a specialized company" 完成,经培训、资格考核与质检,视频二元一致率 89.33%;费用、厂商、人数未披露 [8]。
  • VideoScore / VideoFeedback(VideoFeedback,TIGER-Lab):3.76 万视频(11 个生成模型)、5 维(视觉质量、时序一致、动态程度、文本对齐、事实一致);20 位专家评分员(其中 14 位为在读本/硕/博,同时是论文作者),每人约 1K-2K 视频,试标多轮 + 抽检 + 校准,耗时约 4 周;prompt 从 VidProm 104 万条下采样至 4.45 万;测试集 760 条;报酬仅称 "decent salary"。后续 VideoFeedback2 约 2.7 万视频 [9]。
  • VideoDPO:1 万 VidProm 人写 prompt,每个 prompt 4 个候选,取 best-vs-worst 1 对 = 1 万对;偏好由自动指标 OmniScore(质量 + 对齐)而非人工产生 [10]。
  • OnlineVPO:用视频质量评估(VQA)模型替代图像级奖励,在线生成偏好并课程式更新;摘要未披露数据规模 [11]。
  • DanceGRPO / Flow-GRPO / Flow-GRPO:把 GRPO 用于扩散/整流流的图像与视频生成;DanceGRPO 用 5 个奖励模型(美学、文图对齐、视频运动质量、二元反馈等),在 HPS-v2.1、CLIP Score、VideoAlign、GenEval 上最多提升 181%;Flow-GRPO 实验为 T2I(GenEval 63%→95%)。两者不依赖新增人工标注,依赖已有奖励模型 [12]。
  • Claru(公司口径案例):为某视频生成实验室交付 976,355 条人工质量评估,四维(运动质量、视觉保真、观看兴趣、文本-视频对齐);标注员需在金标准校准集上 >85% 一致率入池,持续监控 Krippendorff alpha;价格未披露 [13]。
  • Rapidata:Veo 3.1 偏好集数据卡称约 7.4 万条人类反馈、约 2.3 万标注者;题目 "Which video do you prefer aesthetically?",覆盖 Veo 3.1、Veo 2、Marey、Kling v2.1 等 [14]。

奖励模型与 RL

  • 字节 Seedance(1.0 / 2.0)与即梦 1.0 三奖励模型:基础 RM(VLM,图文对齐与结构稳定)、运动 RM(伪影、幅度/生动度)、美学 RM(关键帧);对比 DPO/PPO/GRPO,另在 refiner 上做 RLHF [2]。
  • VideoReward / VideoAlign:基于 Qwen2-VL-2B 一类 VLM(底座据后续论文引用),配套 Flow-DPO / Flow-RWR / Flow-NRG 三种对齐 [7][33]。
  • 阶跃 Step-Video-T2V:Video-DPO(Flow Matching 适配,同噪声/时间步生成偏好对)+ 用新人类反馈重训的奖励模型做 on-policy 排序 [5]。
  • 趋势:奖励模型自身的噪声与 reward hacking 成为新研究点(SoliReward;FIRM-Video 用 Rapidata + VideoFeedback2 构建约 3 万训练样本,仅据检索摘要)[15]。

评测与基准数据

基准/渠道 规模与方法 来源
VBench / VBench-2.0 16 维分层评测,每维定制 prompt;配套人类偏好标注验证各维与人类感知的一致性 [16]
VBench-2.0 5 大类(Human Fidelity、Controllability、Creativity、Physics、Commonsense),含"大量人类标注"以对齐 [16]
EvalCrafter 700 条 prompt(真实用户数据 + LLM)、17 个客观指标四大类,用系数拟合人类意见 [17]
Movie Gen Video Bench 1003 prompt,专家成对 A/B(含平局);评分员人数未披露 [1]
Seedance SeedVideoBench-1.0 T2V、I2V 各 300 prompt,导演专家参与设计;5 分 Likert + GSB;对比 Kling 2.1、Veo 3、Wan 2.1、Sora / Runway Gen4 [2]
Wan-Bench 3 维 14 细项、1035 样本/模型;人评 700+ 任务、20+ 人;另有 5000+ 用户成对比较用于维度加权 [3]
HunyuanVideo 人评 1533 prompt、60 位专业评估员、对比 5 个闭源基线 [4]
Step-Video-T2V-Eval 128 条中文真实用户 prompt,11 类 [5]
Artificial Analysis Video Arena(Artificial Analysis) 盲测成对投票,"validated private evaluators";Elo + 95% CI + 样本数;2026-10-15 抓取时 T2V(含音频)榜单每个头部模型约 5000-5800 样本,并给出每分钟 1080p API 价格;Kling 3.0 1080p Pro 固定为 1000 作基准 [18]
UC Berkeley VideoArena 动态 T2V 排行榜(检索仅见标题) [19]

人力与吞吐

  • VideoFeedback:20 人 × 约 4 周 × 每人 1-2K 视频 ≈ 3.76 万视频(5 维打分)[9]。
  • Wan-Bench:20+ 人评 700+ 任务 [3];HunyuanVideo:60 位专业评估员评 1533 prompt [4]。
  • Rapidata:公司称约 150 万次标注/小时、约 5500 人/分钟并发反馈(VentureBeat 转述,公司口径)[20]。
  • Mercor:30,000+ 周活跃承包者(WSJ 转引);Scale/Outlier 主页称 100K+ 专家、已付 $5 亿+(第三方转述,未核官网)[21][22]。

厂商与渠道

美国与全球

名称 国家 类型 规模口径 客户 融资 来源
Scale AI 美 数据引擎 + Outlier 众包专家平台 + 评测 2024 营收 $8.7 亿,2025 预期约 $20 亿(报道口径);Outlier 称 100K+ 专家 OpenAI、Meta 等;视频生成专项客户未披露 ⚠️ 2025-06 Meta 投资约 $143 亿换约 49% 非投票权,估值约 $290 亿 [21]
Surge AI 美 RLHF/偏好、专家标注(DataAnnotation) 报道称 2024 营收 >12亿,另称TTM>10 亿;约 110 名员工;视频偏好专项:未查到 ⚠️ 未披露 无外部融资;传 $150 亿估值融资(报道口径) [22]
Mercor 美 专家承包者撮合 + 训练数据 2026-06 年化毛收入 >$20 亿(毛,净约 $6-8 亿为 Dealroom 估计);30K+ 周活承包者;均时薪约 $85;视频任务:未查到 ⚠️ 头部 AI 实验室;Meta 2026-03 因安全问题无限期停止合作(报道) 2025-10 C 轮 $3.5 亿 @ $100 亿;2026-07 传 $200 亿洽谈(报道) [22]
Turing 美 前沿实验室研究加速、多模态/视频标注 职位贴显示在招视频标注(含 OpenAI Egocentric 项目标注岗);营收融资未查到 OpenAI 等(职位贴口径) 未查到 [23]
Invisible Technologies 美 AI 训练师网络 曾有 video captioning data trainer 职位(聚焦、动作、运镜);营收融资未查到 未披露 未查到 [23]
Alignerr(Labelbox 旗下) 美 视频标注岗 切镜头、标注机位/景别/运动/动作;$40-120/h,10-40h/周(2026-02 职位贴,已关闭) — — [23]
Toloka 荷(Nebius 子公司) 众包 + 专家 检索只见文本 LLM 偏好项目;视频专项:未查到 ⚠️ Amazon、Microsoft、Anthropic(Reuters 转述) 2025-05 Bezos Expeditions 领投 $7200 万 [24]
Appen 澳 数据服务;生成式 AI 项目 FY2025 营收 $2.308 亿;Appen China $1.029 亿(+75%);H1 FY26 营收 $1.199 亿(+17%);视频专项未披露 中国 LLM 客户为主 ASX 上市 [25]
iMerit 美/印 SFT、RLHF、红队 "10,000+ contributors"(公司口径);有报道称 2026 被 EXL 以至多 $3.1 亿收购(未经一手核实) 未披露 最近一轮 $2350 万(第三方) [26]
Sama 美/东非 标注、评测、数据治理 营收/员工/融资及视频生成专项:未查到 ⚠️ — — —
Rapidata 瑞士苏黎世 移动应用内微任务众包人类反馈;视频/图像偏好集与基准 触达 1500-2000 万人(公司口径);研究基金最高 $5 万标注额度/项目 Rime 等 2026-02 种子轮 $850 万(Canaan、IA Ventures 领投) [20]
Claru 美 视频 RLHF 质量标注交付 单案例 97.6 万条评估(公司口径) 未具名视频实验室 未查到 [13]
Labelbox 美 平台 + 托管服务;2024-08 博客谈 T2V 人类偏好评分 服务 "from $10/hr";平台 $0.10/LBU(1 视频 = 1 LBU)(2026-07 快照) — — [27]

中国

名称 国家 类型 规模口径 客户 融资 来源
海天瑞声(SpeechOcean,科创板 688787) 中 训练数据,多模态含视频 2025 营收 3.77 亿(+59%);2026Q1 营收 9678 万(+38.6%);2026H1 营收 1.92 亿(+22.45%),归母净利 977 万;视频生成占比未查到 ⚠️ 智谱、Meta、阿里、腾讯、月之暗面、MiniMax(媒体口径) 上市 [28]
景联文科技 中 "高质量数据运营商" 报道成立年份 2012 与 2018 两说;公司称有近百万段视频描述成品集 未披露 近亿元 A 轮(国资+产业资本,不到一年第二轮) [29]
曼孚科技 MindFlow 中 视频→文本标注案例、多模态 RLHF 偏好;转向具身数据集 视频偏好一手案例未查到,视为"自报能力" ⚠️ 未披露 2025-07 近亿元 B+++;36 氪项目页称 2026-04 Pre-C 数亿元(用户维护,待核) [29]
整数智能 中 数据工程平台(智能标注),自驾/AIGC/医疗 未披露 — 2023-06 Pre-A 数千万元 [29]
星尘数据 中 多模态/视频描述 独立披露未查到 ⚠️;另与生数有具身物理交互数据合作(非标注采购) 生数 未查到 —
标贝科技 / 云测数据 中 — 规模、融资、视频产品均未查到 ⚠️ — — —

国内厂商若干条目仅据搜索摘要,未逐页核验;价格表均不公开,按项目询价。

开源与学术

VideoReward / VideoAlign / VideoGen-RewardBench(KwaiVGI/VideoAlign)、VisionReward(THUDM)、VideoScore / VideoFeedback(VideoFeedback / VideoFeedback2,TIGER-Lab,HF,Apache-2.0)、Rapidata HF 偏好集、VBench / VBench-2.0 / VBench-2.0 / EvalCrafter、VidProm(prompt 池,被 VideoFeedback、VideoDPO 复用)。

应用方式

阶段 数据形态 代表模型/论文 占比
预训练末段 / 精调(SFT) 人工精选片段 + 人工修订 caption;按风格/运动分类定向采集 Meta Movie Gen、字节 Seedance(1.0 / 2.0)与即梦、阿里通义万相 Wan(2.1 / 2.2 / 2.5)、腾讯 HunyuanVideo(1 / 1.5)、阶跃 Step-Video-T2V 数量远小于预训练(Hunyuan 精调约 100 万;Wan 称预训练为"billions"级);比例未被任何技报给出
偏好对齐(DPO / RLHF) 成对或 best/worst 偏好;多维打分 Seedance 1.0(PPO/GRPO/DPO 对比)、Step-Video(Video-DPO)、VideoReward(Flow-DPO/RWR/NRG)、VideoDPO、OnlineVPO 偏好对数量多数未披露;公开最大为 VideoReward 18.2 万
RL(GRPO 系) 现成奖励模型 + prompt 集,不需新人标 DanceGRPO / Flow-GRPO、Flow-GRPO;Seedance 1.0 奖励最大化 人工量主要体现在训练奖励模型
奖励模型训练 多维人类评分/成对偏好;VLM 微调 VideoReward / VideoAlign、VisionReward、VideoScore / VideoFeedback 见"生产方式"
评测 固定 prompt 集 + 专家成对/Likert + 在线竞技场 VBench / VBench-2.0 系、EvalCrafter、SeedVideoBench、Wan-Bench、Artificial Analysis Video Arena 评测 prompt 规模仅百到千级

偏好数据具有强时效性:VideoReward 论文论证早期偏好集基于低分辨率旧模型,已与现代模型偏好不匹配,需持续重标。这使偏好数据更像"订阅式"复购需求而非一次性数据集 [7]。

规模、成本与价格

已核到的价格/成本锚点

项目 数字 性质 来源
Alignerr 视频标注(切镜、机位/景别/运动/动作) $40-120/h,10-40h/周 职位标价(2026-02) [23]
Outlier 行业博客估计通用 $15-60/h(来源互相矛盾),官方不公布 第三方估计 [30]
DataAnnotation(Surge) 自称 25 − 30 + /h通用、50-100+/h 专业;评测估计实际中位 $14-16/h 自称 + 第三方 [30]
Mercor 承包者均时薪约 $85 第三方(Sacra/WSJ 转述) [22]
Labelbox 托管标注 from $10/h;平台 $0.10 / 视频(LBU) 厂商价目(2026-07-17 快照) [27]
国内多模态视觉内容训练师 月薪 5000-7000 元(江西,2026-09 招聘贴) 招聘价 [30]
北京 151 份标注 JD 月薪中位数 10,500 元;日薪岗中位 185 元/天;大厂 AI 训练师 20-35K;金融类专家时薪 150-200 元;岗位分布:多模态/综合 36%、图像和视频 17%、LLM/AIGC 语料类 28% 招聘统计 [30]
xAI 中文 AI 导师(语音,美国境内) $35-45/h 招聘价 [30]
Rapidata 研究基金 最高 $5 万标注额度/项目 公司政策 [20]
对照:机器自动视频标签 阿里云 0.05 元/分钟;Google Video Intelligence $0.10/分钟 自动化 API,非人工 [31]
对照:人工字幕 约 $1-2/分钟 人工转写,非生成模型标注 [31]

未查到

视频偏好标注"每对/每条"报价、视频 caption 修订"每分钟/每条"报价、SFT 精选"每小时素材"报价:未查到任何公开报价 ⚠️(中英文检索均无)。学术偏好集标注总成本(VideoReward、VisionReward)均未披露。

粗略推算(推算,非来源数据)

VideoFeedback:20 人 × 4 周,若按 $20-40/h、每周 20-40h 计,人工成本量级约 3.2万−12.8 万,折合约 $0.9-3.4/视频(5 维打分)。仅作量级参考。Seedance 类 RLHF 偏好数据成本无法从技报推出。

市场体量

  • 海天瑞声 2025 营收 3.77 亿元;某行业测评称中国数据标注 2025 市场约 117.53 亿元、2026 预计超 150 亿元(单一测评口径,据检索摘要)[28][32]。
  • 全球:Surge >10亿、Mercor毛收入年化>20 亿、Scale 2025 预期约 $20 亿;这些体量主要来自文本/代码/专家推理,视频偏好占比:未查到 ⚠️。
  • Artificial Analysis Video Arena 头部 T2V 的 API 价格(2026-10-15 抓取,1080p):Wan 3.0 $12.00/分钟、Seedance 2.5 $34.12/分钟、MiniMax H3 $4.80/分钟 [18]。

局限与争议

  1. 披露极度不足:Movie Gen、Seedance、Wan、Step-Video、MAGI-1 均不给 SFT/偏好终集规模、标注员数量、外包商名称;学术集用 "specialized company" 回避厂商。外部无法从公开文件推算人工采购额。
  2. 人力构成偏学生:VideoFeedback 20 名评分员中 14 人是学生兼作者;Alignerr 招聘贴称"无需专业视频经验"。偏好信号质量依赖校准与抽检,一致率(VisionReward 视频二元一致 89.33%)是少数公开质量指标 [8][9][23]。
  3. 奖励模型替代人工:VideoDPO、OnlineVPO、DanceGRPO 路线用自动评分/VLM 奖励,削弱新增人工偏好需求;但 reward hacking 与标注噪声又促使重新引入高质量人工信号 [10][11][12][15]。
  4. 偏好集过时快:模型迭代使旧偏好集失效,学术集对商业闭源模型的代表性存疑 [7]。
  5. 众包质量 vs 专家:Rapidata 类消费者 App 微任务在规模和速度上占优,但"美学偏好"题较浅;多维、物理一致性等判断仍需专家。
  6. 人工评测可重复性:竞技场依赖 "validated private evaluators",选择偏差、新模型 Elo 波动大(三方报道);VBench 等自动指标与人类偏好的相关性需靠人工标注校准 [16][18]。
  7. 劳工与合规:时薪区间分化极大,Outlier/DataAnnotation 评测称有效时薪被未付费筛选与等活拉低 20-30%(博客口径);Mercor 与 Meta 因安全问题终止合作(2026-03,报道);Scale 因 Meta 持股导致部分前沿实验室转向他处(单一来源,待核)[22][30]。
  8. 数据版权:偏好集多用 VidProm prompt 与开源模型生成的视频,版权风险低于预训练;精调集多来自预训练池,继承其版权问题(见 版权库章、诉讼监管章)。

口径冲突与未核实

说法 A 说法 B 采信 原因
人工只剩 SFT prompt 集、质量/美学打分、偏好对、评测集 Meta Movie Gen 与 腾讯 HunyuanVideo(1 / 1.5) 的 SFT 集本身由人工筛选/标注 B(补充 A) 技报明确写人工筛选,并非纯自动过滤
曼孚科技 MindFlow 有多模态 RLHF 偏好数据 未找到其视频偏好一手案例,近期叙事转向具身数据集 降级为"自报能力" 无一手案例
海天瑞声 视觉板块包含视频生成 已补最新经营数据,视频生成占比仍未披露 仅写总营收,不写视频占比 无拆分
字节 Seedance(1.0 / 2.0)与即梦 1.0 SFT 为"人工标注 prompt + 密集字幕" 技报表述为"人工校验 caption + 数百类定向采集" B 以技报措辞为准,规模未披露
榜单旗舰以 Seedance 2.0 为准 2026-10-15 榜单页前列为 Wan 3.0、Utopai X、Seedance 2.5、MiniMax H3 B,并标注日期 榜单变动快,引用须带日期
iMerit 被 EXL 收购;Surge $150 亿估值;Mercor $200 亿洽谈 均为二手/报道口径 不作事实引用,仅标"报道称" 无一手核实
Scale 因 Meta 持股流失前沿实验室客户 仅单一来源 待核 无交叉验证
Outlier 通用时薪(多个博客) 各博客数字互相矛盾($15-60/h) 只给区间并标第三方估计 官方不公布

此外,MAGI-1 的 SFT/RL 细节仅读取了技报前约 10 万字符;FIRM-Video、SoliReward 仅据检索摘要;国内厂商条目多据搜索摘要。

来源

  1. Movie Gen. https://arxiv.org/abs/2410.13720 (html: https://arxiv.org/html/2410.13720)
  2. Seedance 1.0. https://arxiv.org/abs/2506.09113 (html: https://arxiv.org/html/2506.09113)
  3. Wan. https://arxiv.org/html/2503.20314
  4. HunyuanVideo. https://arxiv.org/html/2412.03603
  5. Step-Video-T2V. https://arxiv.org/html/2502.10248
  6. MAGI-1. https://arxiv.org/html/2505.13211
  7. VideoReward / VideoAlign. https://arxiv.org/abs/2501.13918 ;https://arxiv.org/html/2501.13918 ;https://arxiv.org/pdf/2501.13918
  8. VisionReward. https://arxiv.org/abs/2412.21059 ;https://arxiv.org/html/2412.21059
  9. VideoScore / VideoFeedback. https://arxiv.org/abs/2406.15252 ;VideoFeedback2: https://huggingface.co/datasets/TIGER-Lab/VideoFeedback2
  10. VideoDPO. https://arxiv.org/abs/2412.14167
  11. OnlineVPO. https://arxiv.org/abs/2412.15159
  12. DanceGRPO https://arxiv.org/abs/2505.07818 ;Flow-GRPO https://arxiv.org/abs/2505.05470
  13. Claru 案例. https://claru.ai/case-studies/video-quality-at-scale
  14. Rapidata Veo 3.1 偏好集. https://ai.gitcode.com/hf_mirrors/Rapidata/text-2-video-human-preferences-veo3.1/blob/main/README.md
  15. SoliReward https://arxiv.org/pdf/2512.22170 ;FIRM-Video https://arxiv.org/pdf/2608.21839
  16. VBench https://arxiv.org/abs/2311.17982 ;VBench-2.0 https://arxiv.org/abs/2503.21755
  17. EvalCrafter. https://arxiv.org/abs/2310.11440
  18. Artificial Analysis Video Arena. https://artificialanalysis.ai/video/leaderboard/text-to-video
  19. Berkeley VideoArena. https://sky.cs.berkeley.edu/project/videoarena/
  20. Rapidata:https://venturebeat.com/data/rapidata-emerges-to-shorten-ai-model-development-cycles-from-months-to-days ;https://pulse2.com/rapidata-8-5-million-closed-for-scaling-global-human-feedback-network/ ;https://rapidata.ai/research-grants
  21. Scale / Meta:https://www.verdict.co.uk/meta-invest-10bn-scale-ai/ ;https://app.dealroom.co/news/feed/scale-ai-valued-over-29-billion
  22. Surge / Mercor:https://startupfortune.com/mercors-revenue-hit-2-billion-in-june-and-the-ai-data-race-isnt-slowing/ ;https://www.herohunt.ai/blog/mercor-vs-surge-vs-scale-ai-2026-buyer-guide/ ;https://dealroom.co/news/137121-mercor-doubles-to-2b-gross-revenue-run-rate-as-ai-labs-buy-expert-data/
  23. 职位贴:Alignerr https://dynamitejobs.com/company/alignerr/remote-job/video-annotation-specialist ;Turing https://work.turing.com/r/Wl62P2h7aB ;Invisible https://www.workingnomads.com/jobs/video-captioning-ai-data-trainer-invisible-technologies
  24. Toloka. https://opendatascience.com/jeff-bezos-leads-72m-investment-in-ai-data-company-toloka/
  25. Appen. https://announcements.asx.com.au/asxpdf/20260225/pdf/06wq7ntr51bhgl.pdf ;https://announcements.asx.com.au/asxpdf/20260827/pdf/0739d4q7lyh3w2.pdf
  26. iMerit. https://www.trysignalbase.com/news/funding/imerit-secures-235m-to-power-next-generation-ai-data-solutions-for-global-enterprises
  27. Labelbox 价目(Forasoft 快照). https://www.forasoft.com/blog/article/video-annotation-tool-development
  28. 海天瑞声. https://www.jiemian.com/article/14101842.html ;https://m.jiemian.com/article/15093923.html
  29. 景联文 https://news.pedaily.cn/202508/553331.shtml ;曼孚 https://pitchhub.36kr.com/project/1957961221180681 ;整数智能 https://news.pedaily.cn/202306/514939.shtml
  30. 薪资:https://www.huxiu.com/article/4865283.html ;https://campus.niuqizp.com/job-v8Y5n5MaC.html ;https://breakingeven.online/blog/outlier-ai-pay-per-hour-2026 ;https://breakingeven.online/blog/dataannotation-pay-rates-2026
  31. 对照价格:https://help.aliyun.com/zh/ims/smart-label ;https://cloud.google.com/video-intelligence/pricing ;https://www.panopto.com/?p=2131
  32. 中国数据标注市场测评. https://finance.sina.cn/stock/jdts/2026-10-09/detail-iniurwaf7778162.d.html
  33. EvoSearch(引用 VideoReward 底座). https://arxiv.org/html/2505.17618

本章涉及的实体

Appen公司与机构 · 全球
澳洲上市数据服务商,中国 LLM 项目拉动增长
Claru公司与机构 · 美国
定制采集与视频 RLHF 标注商,单案例交付 97.6 万条质量评估
Mercor公司与机构 · 美国
专家承包者撮合平台,转型为 AI 实验室的训练数据供应商
Rapidata公司与机构 · 欧洲
瑞士移动 App 众包人类反馈,发布 Veo 3.1 等视频偏好集
Scale AI公司与机构 · 美国
数据引擎加 Outlier 专家众包平台,Meta 持约 49% 非投票权
Surge AI公司与机构 · 美国
无外部融资的 RLHF 专家标注商,旗下 DataAnnotation
数据堂公司与机构 · 中国
北京新三板挂牌的老牌训练数据服务商,与海天瑞声是同业竞争对手而非同一品牌
星尘数据公司与机构 · 中国
北京数据标注与管理服务商,主要客户在自动驾驶,未见视频生成相关披露
景联文科技公司与机构 · 中国
自称高质量数据运营商,报称近百万段视频描述成品集
曼孚科技 MindFlow公司与机构 · 中国
有视频到文本标注案例,近期叙事转向具身数据集
海天瑞声公司与机构 · 中国
A 股上市训练数据商(688787),含视频理解数据集
ShareGPT4Video数据集 · 中国
GPT-4V 差分滑窗字幕,蒸馏出 480 万 clip 的字幕器
VideoReward / VideoAlign数据集 · 中国
快手 18.2 万偏好三元组与配套多维奖励模型
VideoScore / VideoFeedback数据集 · 美国
TIGER-Lab 5 维视频质量评分集,20 位专家约 4 周
VisionReward数据集 · 中国
清华/智谱的细粒度多维奖励,64 个二元问题
Meta Movie Gen模型 · 美国
公开了完整策展、captioner 与 SFT 流程的闭源视频模型
字节 Seedance(1.0 / 2.0)与即梦模型 · 中国
字节视频生成模型,技报称数据来自公开与授权库,规模未披露
百度 MuseSteamer 蒸汽机模型 · 中国
百度中文音视频一体生成模型,仅有"亿级中文多模态清洗"媒体口径
阶跃 Step-Video-T2V模型 · 中国
阶跃开源 30B 视频模型,预训练约 20 亿视频-文本对,12 万簇平衡
DanceGRPO / Flow-GRPO论文与基准 · 中国
把 GRPO 用于扩散/整流流,靠现成奖励模型不需新人标
VideoDPO论文与基准 · 中国
用自动打分构造 1 万 best/worst 偏好对的视频 DPO
字节 Seaweed-7B论文与基准 · 中国
字节 Seed 7B 视频基座,披露约 100M 片段与 6 级质量过滤
Artificial Analysis Video Arena工具与格式 · 全球
盲测成对投票的视频生成 Elo 榜,附 API 价格
EvalCrafter工具与格式 · 中国
700 prompt、17 项客观指标的视频生成评测
VBench / VBench-2.0工具与格式 · 中国
16 维/5 大类视频生成评测套件,附人类偏好验证

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。