各模型公司的数据配方与供应商全景
一句话结论
- 中国:23 家公司的技术报告里,一手点名"外部标注供应商"的只有智谱 智谱 Zhipu / Z.ai GLM-5(数学/科学与 TIR 的 STEM 题与外部标注供应商共建,供应商未具名)[9];小米 小米 MiMo V2.6 写 "licensed data vendors"[23],MiniMax 招股书写"向专业数据提供商采购"[14],百川 2 安全红队外包 50 人 [25],均未具名。没有一份一手文件把海天瑞声、数据堂、云测、整数智能写成数据来源。
- 供应商侧同样匿名:海天瑞声 FY2025 营收 3.77 亿元(+59.00%),前五客户占 46.20%、客户 1 单家 18.99%(7,158.68 万元),全部匿名 [18];数据堂 Datatang 2023 年起不再披露客户名 [19]。"智谱、Meta、阿里、腾讯、月之暗面、MiniMax 是海天瑞声客户"仅为记者归纳,⚠️媒体口径、无金额 [38]。
- 美国与全球:闭源前沿 lab 的 L1 基本沉默,被动暴露渠道是诉讼与 system card。Anthropic 取自 LibGen ≥500 万册、PiLiMi ≥200 万册,和解 $15 亿 / 482,460 册 [41];<a class="wl" href="/entities/openai/#data-llm">OpenAI</a> 的 NYT MDL 暴露 2000 万条日志样本与 Books1/Books2 删除争议(特权豁免裁定已被撤销)[60]。外包最集中的是 L3:Mercor 2026-06 年化毛收入 >$20 亿,毛收入 2026 年上半年约 91%(媒体口径,The Information 转述)来自基础模型公司[47]。
- L4 RL 环境几乎全部自建:DeepSeek(深度求索) V3.2 合成 1,827 个 agent 环境、85,000+ prompt [3];MiMo-V2-Flash 代码任务 90K(真实 prompt)+ 30K(合成 prompt)、搜索 150K [23];Kimi / 月之暗面 Moonshot K2 3,000+ MCP 工具 + 20,000+ 合成工具 [6];GLM-5 >10K 可验证 SWE 环境 [9]。美国的外采环境数字(Anthropic 传 $10 亿+/12 个月、OpenAI 约 $2 万/个)均为媒体口径 ⚠️ [68]。
- 配比公开度两极分化:完整公开的有 Ai2(OLMo / Dolma / Tülu)、Swiss AI Apertus、Hugging Face(Hub / Datasets);半公开有 Llama 3(50/25/17/8 大类)、NVIDIA Nemotron(训练约 25T、公开约 10T);中国只有上海 AI Lab(按来源给表)、小米、智谱等给阶段与局部占比 [29][23][45]。
- 蒸馏既是争议也是自报事实:Anthropic 指控 DeepSeek >150,000、Moonshot >3.4M、MiniMax >13M 次交互(Anthropic 单方口径,未经独立核实)[36];同时快手 KAT-V1、百川 M2、小红书 dots.llm1 自报以 DeepSeek 模型作教师或精修 [34][26][31]。
各模型公司用了哪几层数据(六层数据链)
深色 = 该层是主力;浅色 = 少量或只用开源;灰 = 未用或未披露。悬停看规模口径,完整说明见下方数据表。
数据表
| 公司 | 模型 | 地区 | 预训练语料 | 版权授权 | 后训练人类数据 | RL 环境 | 合成与蒸馏 | 部署回流 | 配比公开 | 备注 |
|---|---|---|---|---|---|---|---|---|---|---|
| DeepSeek | V3 / R1 / V3.2 / V4 | 中国 | 主力层:V3 14.8T;V4 >32T | 未用 / 未披露 | 少量或仅开源 | 主力层:V3.2 合成 1,827 环境、85,000+ prompt | 主力层:R1 SFT 约 800K 模型生成 | 未用 / 未披露 | 否 | V3-Base 自述无合成预训练;供应商未查到 |
| 阿里 Qwen | Qwen3 | 中国 | 主力层:约 36T,119 种语言 | 未用 / 未披露 | 少量或仅开源 | 明确使用:Reasoning RL 3,995 对 | 明确使用 | 未用 / 未披露 | 部分 | 阶段 token 公开、混合比例不公开;未查到外采供应商 |
| 月之暗面 Kimi | K2 / K2.5 / K3 | 中国 | 主力层:K2 15.5T;K2.5 另续训约 15T | 未用 / 未披露 | 少量或仅开源 | 主力层:SWE 沙箱 >10,000 并发 | 主力层:3,000+ 真实 + >20,000 合成 MCP 工具 | 未用 / 未披露 | 部分 | 自建 data team;K3 开源 AgentENV |
| 智谱 | GLM-4.5 / GLM-5 | 中国 | 主力层:GLM-5 28.5T | 明确使用:EU 摘要:商业授权 Yes、第三方私有数据集 Yes | 明确使用 | 主力层:>10K 可验证 SWE 环境 | 明确使用 | 少量或仅开源:仅用户 opt-in | 部分 | 唯一一手写明与外部标注供应商共建 RL 题;供应商未具名 |
| MiniMax | M1 / M2 | 中国 | 主力层:M2 29.2T | 少量或仅开源:招股书:可能含未经全部同意内容 | 少量或仅开源 | 主力层:约 50K 数学题 + 41 类 SynLogic | 主力层:RL 逻辑数据全合成;M2 教师蒸馏 | 未用 / 未披露 | 部分 | 募资每年约 HK$64.9M 含数据采购/标注/合规 |
| 阶跃星辰 | Step 3.5 Flash | 中国 | 主力层:17.2T,StepCrawl 自爬 | 未用 / 未披露 | 未用 / 未披露 | 少量或仅开源 | 明确使用 | 未用 / 未披露 | 否 | 自建;供应商未查到 |
| 字节 Seed | Seed1.5-Thinking / Seed2.0 | 中国 | 少量或仅开源:Seed1.5-VL 3T | 未用 / 未披露 | 明确使用:专家核验 STEM、命题 BeyondAIME | 主力层:STEM 100k + 谜题约 10k,SFT 400k | 明确使用 | 明确使用:API 客户授权用量数据(公司口径) | 否 | 外采线索:海天瑞声、法本信息(均公司口径) |
| 百度 文心 | ERNIE 4.5 / 5.0 | 中国 | 明确使用:仅 trillions | 未用 / 未披露 | 少量或仅开源 | 少量或仅开源 | 明确使用 | 未用 / 未披露 | 否 | 自建为主 |
| 腾讯混元 | Hunyuan-Large / Hy3 | 中国 | 主力层:Large 7T;A13B 20T | 未用 / 未披露 | 明确使用:SFT >1M 条经人工标注 | 少量或仅开源 | 主力层:约 1.5T/7T(约 21%,换算) | 少量或仅开源 | 否 | 仅合成总量公开 |
| 小米 MiMo | MiMo-V2-Flash / V2.6 | 中国 | 主力层:V2-Flash 27T;V2.6-Flash 48T | 少量或仅开源 | 未用 / 未披露 | 主力层:代码 90K(真实 prompt)+30K(合成 prompt)、搜索 150K、通用 50K | 明确使用:中期训练约 5% | 少量或仅开源 | 部分 | V2.6 写 licensed data vendors(未具名);开源 RL 环境 |
| 华为 盘古 | openPangu-2.0-Pro | 中国 | 明确使用:约 34T | 未用 / 未披露 | 未用 / 未披露 | 明确使用 | 未用 / 未披露 | 未用 / 未披露 | 否 | 仅开源处理流水线代码;Qwen 相似性争议无定论 |
| 百川 | Baichuan 2 / M2 | 中国 | 明确使用:2.6T | 未用 / 未披露 | 明确使用:SFT >100k;外包安全组 50 人 | 明确使用 | 明确使用:M2 CoT 主要由 DeepSeek-R1 生成 | 未用 / 未披露 | 部分 | M2 基座为 Qwen2.5-32B |
| 零一万物 | Yi / Yi-Lightning | 中国 | 主力层:3.1T | 未用 / 未披露 | 明确使用:SFT <10K 工程师自标 | 未用 / 未披露 | 明确使用 | 少量或仅开源 | 否 | 自建、非外包;配比仅图示 |
| 科大讯飞 | 星火 / X1 | 中国 | 少量或仅开源:称 >50TB 行业语料(转述) | 未用 / 未披露 | 未用 / 未披露 | 少量或仅开源 | 少量或仅开源 | 少量或仅开源:日均 >10 亿人次交互,入训未说明 | 否 | 披露极少;海天瑞声客户名单列讯飞 |
| 面壁 | MiniCPM4 | 中国 | 主力层:8T | 未用 / 未披露 | 少量或仅开源 | 主力层 | 主力层:UltraChat v2 全合成 SFT | 未用 / 未披露 | 部分 | 全自建 |
| 上海 AI Lab | InternLM2 / Intern-S1 | 中国 | 主力层:InternLM2 约 13.5TB,web 86.46% | 少量或仅开源 | 明确使用:SFT 1000 万条(含自动筛选) | 明确使用:InternBootCamp >1000 任务 | 少量或仅开源 | 未用 / 未披露 | 是 | 反向开源 WanJuan |
| 智源 BAAI | CCI / Infinity-Instruct | 中国 | 主力层:CCI4.0 35TB | 少量或仅开源 | 未用 / 未披露 | 未用 / 未披露 | 主力层:CoT 425B token;Infinity-Instruct 7.45M 条合成/演化 | 未用 / 未披露 | 是 | 联盟 14+ 机构共建 |
| 小红书 dots | dots.llm1 | 中国 | 主力层:11.2T,无合成 | 未用 / 未披露 | 明确使用:SFT 约 400K 混合 | 少量或仅开源 | 少量或仅开源 | 未用 / 未披露 | 部分 | SFT 少量由 DeepSeek-V3-0324 精修 |
| 美团 LongCat | LongCat-Flash | 中国 | 主力层:>20T | 未用 / 未披露 | 少量或仅开源 | 明确使用 | 主力层:agentic 合成 80,000 mock 工具 | 未用 / 未披露 | 部分 | Stage 2 STEM+代码 70% |
| 蚂蚁 Ling | Ling 2.0 / Ring-1T | 中国 | 主力层:20T | 未用 / 未披露 | 少量或仅开源 | 主力层 | 明确使用:推理数据占比 32%→46% | 未用 / 未披露 | 部分 | 自建 |
| 快手 KAT | KAT-V1 / KAT-Coder | 中国 | 明确使用:mid-term 约 20B token | 未用 / 未披露 | 未用 / 未披露 | 主力层 | 主力层:以 DeepSeek-V3 / R1-0528 为教师 | 明确使用:第三方 IDE 生产轨迹 | 否 | L4 与 L6 合一 |
| 昆仑万维 | Skywork-13B / OR1 | 中国 | 主力层:3.2T(SkyPile >6T) | 未用 / 未披露 | 明确使用 | 明确使用:OR1 105,055 数学 + 14,057 代码 | 明确使用 | 未用 / 未披露 | 部分 | 开源 SkyPile-150B、OR1、SynPref-40M |
| OpenAI | GPT-4/5、o 系 | 美国 | 未用 / 未披露 | 主力层:News Corp >$2.5 亿/5 年等(媒体) | 主力层 | 明确使用:据报约 $2 万/个(⚠️媒体) | 少量或仅开源 | 主力层:消费者默认可训;NYT 案令保留已删对话 | 否 | L1 零披露;Mercor 为已确认客户 |
| Anthropic | Claude 3–4.x | 美国 | 未用 / 未披露:诉讼:LibGen ≥500 万册、PiLiMi ≥200 万册 | 少量或仅开源:和解 $15 亿 / 482,460 册 | 主力层 | 明确使用:传 12 个月 $10 亿+(⚠️二手) | 少量或仅开源 | 主力层:2025-09 起消费者对话默认可训,保留最长 5 年 | 否 | 无大额出版授权;Mercor 为客户 |
| Google DeepMind | Gemini / Gemma 3 | 美国 | 明确使用:Gemma 3:27B 14T … 1B 2T | 明确使用:Reddit 约 $6,000 万/年(媒体) | 主力层:GlobalLogic 评分员;Scale 原计划约 $2 亿 | 少量或仅开源 | 主力层:Gemma 教师 256 logits/token 蒸馏 | 明确使用 | 部分 | Gemma 部分公开;Gemini 闭源 |
| Meta | Llama 3.1 / 4 | 美国 | 主力层:Llama 3 约 15T;Llama 4 Scout 40T / Maverick 22T(⚠️二手) | 少量或仅开源 | 主力层:Scale 49% 股东 | 未用 / 未披露 | 主力层:后训练合成为主;Behemoth 共蒸馏 | 明确使用 | 部分 | Llama 3 给 50/25/17/8 大类;诉讼暴露 LibGen |
| xAI | Grok 3–5 | 美国 | 未用 / 未披露 | 未用 / 未披露 | 明确使用:标注团队约 1,500 人,2025-09 裁约 500 | 未用 / 未披露 | 未用 / 未披露 | 少量或仅开源:X 帖子与对话(⚠️) | 否 | 几乎零披露 |
| Microsoft Phi | Phi-4 / reasoning | 美国 | 明确使用 | 未用 / 未披露 | 少量或仅开源 | 少量或仅开源 | 主力层:合成约 400B unweighted;预算约 40% | 未用 / 未披露 | 部分 | reasoning 用 o3-mini 蒸馏 |
| NVIDIA | Nemotron 3 Nano/Super | 美国 | 主力层:训练约 25T、公开约 10T | 未用 / 未披露 | 明确使用:内部团队 + Turing / Scale / Mercor | 少量或仅开源 | 主力层 | 未用 / 未披露 | 部分 | Nemotron-CC 系含合成改写(⚠️) |
| Amazon Nova | Nova 1 / 2 | 美国 | 未用 / 未披露 | 少量或仅开源:授权数据(FMTI 梳理) | 少量或仅开源 | 未用 / 未披露 | 少量或仅开源 | 未用 / 未披露 | 否 | 披露面窄,仅 Stanford FMTI 第三方梳理 |
| Apple | AFM 2024 / 2025 | 美国 | 明确使用:图文 >100 亿对;AFM-server 约 6.3T(⚠️未复核) | 明确使用:出版商授权,名单不公布 | 少量或仅开源 | 未用 / 未披露 | 明确使用 | 未用 / 未披露:官方称不用私有数据与用户交互 | 部分 | 四源:授权 + 公开数据集 + Applebot + 合成 |
| Mistral | Large 3 / Medium 3 | FR | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 否 | AFP 协议仅检索、不训练;其余未披露 |
| Cohere | Command A | CA | 未用 / 未披露 | 未用 / 未披露 | 明确使用:内部标注员;偏好 ≥3 人多数票 | 未用 / 未披露 | 明确使用 | 未用 / 未披露 | 部分 | 供应商仅见旧案例页 |
| AI2 | OLMo 3 / Tülu 3 | 美国 | 主力层:OLMo 3 7B 5.93T / 32B 5.50T | 未用 / 未披露 | 主力层 | 明确使用 | 主力层:公开 | 未用 / 未披露 | 完全公开 | 反向开源 Dolma / Tülu 3 |
| Hugging Face | SmolLM3 | 美国 | 主力层:约 11T | 未用 / 未披露 | 少量或仅开源 | 未用 / 未披露 | 主力层:Cosmopedia、SmolTalk | 未用 / 未披露 | 完全公开 | FineWeb 系是最常复用的开放网页语料 |
| Databricks | DBRX | 美国 | 明确使用:12T | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 少量或仅开源:TAO 用线上未标注输入做 RL | 否 | DBRX 后转向平台 |
| 日韩与小型开源厂 | Liquid LFM2 / EXAONE / HyperCLOVA X / Solar Open 2 | INTL | 主力层:10–12T / 约 14T / 约 6T / 约 12T | 未用 / 未披露 | 未用 / 未披露 | 少量或仅开源 | 明确使用:Liquid Top-K 蒸馏;Naver 合成韩语 | 未用 / 未披露 | 部分 | 多为二手综述 |
| Poolside | Malibu / Point | 美国 | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 主力层:RLCEF 近百万容器化代码仓(二手) | 明确使用 | 少量或仅开源 | 否 | 企业私部署为主 |
| Cursor | Tab / Composer | 美国 | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 主力层 | 未用 / 未披露 | 主力层:最快约每 5 小时迭代;Tab 每天 >4 亿次请求 | 否 | 基座来源争议无一手 |
| TII Falcon | Falcon 3 / H1 / H1R | AE | 主力层:Falcon 3 14T;H1 最多 18T(二手) | 未用 / 未披露 | 明确使用:H1R SFT 310 万样本 | 未用 / 未披露 | 少量或仅开源 | 未用 / 未披露 | 部分 | 自建 |
| Swiss AI | Apertus | CH | 主力层:约 15T,约 40% 非英语 | 未用 / 未披露 | 明确使用 | 少量或仅开源 | 少量或仅开源 | 未用 / 未披露 | 完全公开 | 追溯 robots.txt 过滤 |
| Reflection AI | 首款开放权重模型 | 美国 | 少量或仅开源:称数十万亿 token(公司口径) | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 未用 / 未披露 | 否 | 只放权重不放数据;发布状态未确认 |
口径说明:等级 0–3 由作者依据各公司论文、技术报告与官方博客判断;灰色多数是“未披露”而非“确实没用”,版权授权与部署回流两层尤其如此。
总表:公司 × 数据层
层定义:L1 预训练语料|L2 版权授权|L3 后训练人类数据|L4 RL 环境|L5 合成与蒸馏|L6 部署回流。"—" = 未披露或未查到(不等于不存在);⚠️ = 二手或未核实;"公司口径" = 技术报告、招股书、官方 card 自述。
中国
| 公司 | 模型 | L1 token 与来源 | L2 授权 | L3 人工规模 | L4 RL 环境 | L5 合成占比 | L6 回流政策 | 开源数据集 | 自建/外采 | 供应商 | 配比公开? | 来源 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| DeepSeek(深度求索) | V3 / R1 / V3.2 / V4 | V3 14.8T;V4 >32T(公司口径);V3-Base 称仅网页与电子书、无合成 | — | —;SFT 约 800K(R1),人工核验 | 规则奖励 RLVR;V3.2 合成 1,827 环境、85,000+ prompt | SFT/agent 大量模型生成,无百分比 | — | 无 | 自建 | 未查到 | 否 | [1][2][3][4] |
| Qwen / 阿里通义 | Qwen3 | 约 36T、119 种语言;S1 >30T / S2 约 5T | — | —(仅失败样本人工复核) | Reasoning RL 仅 3,995 个 query-verifier 对 | 无占比;Qwen2.5-VL 做 PDF OCR、Math/Coder 合成 | — | ProcessBench(评测集) | 自建 | 未查到 | 部分:阶段 token 有,比例无 | [5] |
| Kimi / 月之暗面 Moonshot | K2 / K2.5 / K3 | K2 15.5T;K2.5 另续训约 15T | — | —;data team 手写 rubric | Verifiable Rewards Gym;SWE 沙箱 >10,000 并发;K3 开源 AgentENV | 知识/数学 rephrasing 最多 2 次;3,000+ 真实 + >20,000 合成工具 | — | 无 | 自建 | 未查到 | 部分:仅域名分类 | [6][7] |
| 智谱 Zhipu / Z.ai | GLM-4.5 / GLM-5 | 23T / 28.5T;网页、社交、书、论文、代码 + GLMBot 自爬 | EU 摘要:商业授权文本 Yes;第三方私有数据集 Yes(均未列名) | —;RLHF 人类审查员 | >10K 可验证 SWE 环境;数学/科学 RL 题与外部标注供应商共建 | 数学/科学/代码预训练"严格避免合成";中期训练有合成 | 仅用户 opt-in 才训练 | LongWriter-6k | 自建 + 外采 | 外部标注供应商(未具名) | 否 | [8][9][10][11] |
| MiniMax | M1 / M2 | M1 续训 7.5T(STEM/代码/书/推理 70%);M2 29.2T | 招股书:可能含未经全部必要第三方同意的内容;商业采购需供应商出具合法性陈述 | — | 约 50K 数学题 + 41 类 SynLogic;M2 PR 转可验证环境 | M1 预训练避免合成;RL 逻辑数据全合成;M2 轨迹由轮换教师蒸馏 | — | SynLogic | 自建 + 外采 | "专业数据提供商"(未具名) | 部分:仅 70% 类占比 | [12][13][14] |
| 阶跃星辰 StepFun | Step 3.5 Flash | 17.2T;StepCrawl 自爬 | — | — | 可验证奖励 + 人类偏好 RL,规模未披露 | 含合成/半合成数学、代码、agent,无占比 | — | 少量(PaCoRe-Train-8k 等) | 自建 | 未查到 | 否 | [15] |
| 字节 Seed / 豆包 | Seed1.5-Thinking / Seed2.0 | 纯文本总量未披露;Seed1.5-VL 多模态 3T | — | 总量未披露;专家核验 STEM、冷启动、命题 BeyondAIME | STEM 100k + 逻辑谜题约 10k;SFT 400k | 谜题由生成器合成,CoT 拒绝采样 | 豆包协作激励计划:签数据授权协议的 API 客户授权用量数据(公司口径) | 评测集 | 自建 + 外采 | 海天瑞声(IR 称重要客户)、法本信息 | 否 | [16][17][18] |
| 百度 | ERNIE 4.5 / 5.0 | 仅 "trillions" | — | —;human-model-in-the-loop | 5.0 提环境交互 RL,数未披露 | self-distillation、key-point 合成,无占比 | — | 无 | 自建为主(众包平台) | 未查到(历史客户见数据堂) | 否 | [19][21] |
| 腾讯混元 Hunyuan | Hunyuan-Large / A13B / Hy3 | Large 7T;A13B 20T;Hy3 未披露 | — | Large SFT >1M 条,经人工标注 | Hy3 称放大 RL 算力,环境未披露 | Large 约 1.5T/7T(约 21%,由报告数字换算) | Hy3 接入元宝等,入训未披露(媒体口径) | 无 | 未披露 | 未查到 | 否(仅合成总量) | [22] |
| 小米 MiMo | MiMo-V2-Flash / V2.6 | V2-Flash 27T;V2.6-Flash 48T(文本 26T + omni 22T) | — | — | 代码 90K(真实 prompt)+ 30K(合成 prompt)、搜索 150K、通用 50K;V2.6 代码任务含员工真实需求与 licensed data vendors | 中期训练约 5% 合成推理;MOPD 多教师蒸馏 | 员工内部请求入 RL 任务 | 开源 RL 环境与框架 | 自建 + 部分外采 | "licensed data vendors"(未具名) | 部分:阶段与 5% | [23] |
| 华为 | openPangu-2.0-Pro | 约 34T | — | — | verl + GSPO/GRPO,环境数未披露 | — | — | 开源处理流水线代码,无语料 | 未披露 | 未查到 | 否 | [24] |
| 百川智能 Baichuan | Baichuan 2 / M2 | 2.6T;来源仅列网页/书/论文/代码 | M2 脱敏病历授权方式未披露 | SFT >100k 条;安全红队专家 10 人 + 外包 50 人;M2 SFT 200 万 | M2 患者模拟器 + Clinical Rubrics 的 verifier | M2 SFT 候选 >400 万,CoT 主要由 DeepSeek-R1 生成 | — | 无 | 自建 + 外包 | 外包团队(未具名) | 部分(M2 医学 20%) | [25][26] |
| 零一万物 | Yi / Yi-Lightning | 3.1T,Common Crawl + CCNet | — | SFT <10K,工程师自标;Yi-Lightning 1.3M + 300K | — | Yi-Lightning 阶段一"extensive synthetic" | 提及用户反馈迭代 | 无 | 自建(非外包) | 未披露 | Fig.2 图示无数值 | [27] |
| 科大讯飞 | 星火 / X1 | 未披露;称 >50TB 行业语料(公司口径,⚠️转述) | — | — | X1 答案正误反馈 RL | 称建成 agent 数据合成平台(⚠️转述) | 开放平台日均 >10 亿人次交互,入训未说明 | 无 | 未披露 | 海天瑞声客户名单 | 否 | [71] |
| 面壁 | MiniCPM4 | 8T(7T + 1.3T 退火) | — | 仅 selective human review | 数学 + 代码 GRPO,Firejail 沙箱 | 预训练含教材/论坛风格合成;SFT 为 UltraChat v2 | — | UltraFineWeb、UltraChat | 全自建 | 无 | 部分 | [28] |
| 上海 AI Lab(书生 InternLM) | InternLM2 / Intern-S1 | InternLM2 约 13.5TB 字节,web 86.46%;Intern-S1 续训 5T | 书籍/论文/专利有,授权方式未披露 | SFT 1000 万条(含自动筛选);RM 最多 240 万对 | InternBootCamp,>1000 任务 | — | — | 书生·万卷 WanJuan(含 OpenDataLab) | 自建 + 标注人员 | 未点名 | 是(InternLM2 按来源) | [29] |
| 智源 BAAI | CCI3.0 / CCI4.0 / Infinity-Instruct | CCI4.0 共 35TB;Base 约 26TB | Extra 子集需单独授权 | 无 | 无 | CoT 425B token 合成;Infinity-Instruct 全合成/演化 | — | CCI 系列(CCI3.0 / CCI3.0-HQ / CCI 4.0,智源)、Infinity-Instruct(智源,含 COIG) | 联盟共建 | 14+ 机构贡献 | 是(子集规模) | [30] |
| 小红书 dots.llm1(rednote-hilab) | dots.llm1 | 11.2T,预训练无合成,中英 1:1 | — | SFT 约 400K(开源 + 内部标注混合) | RFT + verifier | 预训练 0;SFT 少量由 DeepSeek-V3-0324 精修 | — | 无(发中间 checkpoint) | 自建 | 未披露 | 部分 | [31] |
| 美团 LongCat | LongCat-Flash | >20T;Stage 2 STEM + 代码 70% | — | 仅安全类人工复核 | agentic 合成 40 领域、约 1,600 应用、80,000 mock 工具 | 总占比未披露 | — | 无 | 自建 | 未披露 | 部分 | [32] |
| 蚂蚁 Ling 2.0(inclusionAI) | Ling 2.0 / Ring-1T | 20T;推理数据 32%→46% | — | 仅清洗规则人工复核 | RLVR(ASystem)+ RLHF | 数学 Q&A、代码改写有合成 | — | 无 | 自建 | 未披露 | 部分 | [33] |
| 快手 KAT-Coder(Kwaipilot) | KAT-V1 / KAT-Coder | Coder mid-term 约 20B token(GitHub PR/issue/commit) | — | — | 接入 Claude Code / Cline 等产生生产级轨迹 | KAT-V1 以 DeepSeek-V3 / R1-0528 为教师 | IDE 轨迹,规模未披露 | 无 | 自建 | 未披露 | 否 | [34] |
| 昆仑万维 | Skywork-13B / OR1 / Reward-V2 | 3.2T(SkyPile >6T,开源 150B) | 以公开网页为主,未提授权 | SynPref-40M 含小规模人工金标 | OR1 RL 数据 105,055 数学 + 14,057 代码 | LLM 按人工指引扩展偏好对 | — | SkyPile-150B、OR1 RL Data、SynPref-40M | 自建 | 未披露 | 部分(英 52.2 / 中 39.6 / 码 8) | [35] |
美国与全球
| 公司 | 模型 | L1 token 与来源 | L2 授权 | L3 人工规模 | L4 RL 环境 | L5 合成占比 | L6 回流政策 | 开源数据集 | 自建/外采 | 供应商 | 配比公开? | 来源 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| OpenAI | GPT-4/5、o 系 | — | News Corp >$2.5 亿/5 年等(WSJ,媒体口径) | 大规模;2023 Kenya 标注(Sama)⚠️ | 据报约 $2 万/个浏览器环境(⚠️媒体) | 未披露;o 系自生成 + 可验证奖励 | 消费者默认可训、可关;NYT 案令保留已删对话 | 无 | 混合 | Mercor(已确认)、Scale(减单) | 否 | [47][60][67] |
| Anthropic | Claude 3–4.x | —;诉讼文书:LibGen ≥500 万册、PiLiMi ≥200 万册 | 无大额出版授权;和解 $15 亿 | 早期众包⚠️,现专家网络 | 传 12 个月 $10 亿+(⚠️二手);12+ 家环境公司 | 有,未披露 | 2025-09 起消费者对话默认可训(可关),保留最长 5 年 | 无 | 混合,趋自建 | Mercor(客户)、Surge ⚠️二手 | 否 | [41][61][68] |
| Google DeepMind | Gemini / Gemma 3 | Gemma 3:27B 14T、12B 12T、4B 4T、1B 2T | Reddit 约 $6,000 万/年(媒体) | GlobalLogic 评分员 $18–32/h;Scale 原计划约 $2 亿 | Mechanize 团队与非独占授权约 $15 亿(媒体口径,Business Insider 单一来源,官方未披露,结构为授权加招人) | Gemma:教师 256 logits/token 蒸馏 | Gemini 对话可用于改进 | 无(Gemma 仅权重) | 混合 | Scale(已切)、GlobalLogic、Mechanize | Gemma 部分 | [51][65] |
| Meta | Llama 3.1 / 4 | Llama 3 约 15T;Llama 4 Scout 40T / Maverick 22T ⚠️二手 | LibGen torrent(诉讼文书);实时内容协议主要用于 Meta AI 回答 | Scale 49% 股东;后训练以合成 + 人标 | — | 后训练合成为主;Behemoth 共蒸馏 | Muse 贡献者档换折扣(⚠️未复核) | 无 | 混合 | Scale | Llama 3:50/25/17/8 大类 | [42][43][62][70] |
| xAI | Grok 3–5 | 未披露 | — | 标注团队约 1,500 人,2025-09 裁约 500 | — | — | X 帖子 + 对话 ⚠️ | 无 | 自建为主 | Scale(减单,媒体) | 否 | [48] |
| Phi 系列(Microsoft,含 TinyStories) | Phi-4 / reasoning | 合成约 400B unweighted;预训练预算约 40% 合成 | — | 少量 | reasoning-plus 短程 RL | 约 40%(二手综述) | — | 无 | 自建合成 | OpenAI o3-mini 作教师 | 部分 | [50] |
| Nemotron-CC / v2(NVIDIA) | Nemotron 3 Nano/Super | 约 25T,其中公开约 10T | 未披露,称只发布有再分发权的数据 | 内部团队 + Turing / Scale / Mercor | NeMo Gym ⚠️ | Nemotron-CC 含合成改写 ⚠️ | — | Nemotron-CC v1/v2/v2.1、Post-Training v2/v3 | 自建 + 外采 | Mercor、Turing、Scale | 部分 | [44][47] |
| Amazon Nova | Nova 1 / 2 | 未披露 | 授权数据(FMTI 梳理) | 有 | — | 有 | — | 无 | 自建 | 未披露 | 否 | [52] |
| Apple Foundation Models | AFM 2024 / 2025 | 出版商授权 + 公开数据集 + Applebot;图文 >100 亿对 | 出版商授权,名单不公布 | 有 | — | 小模型生成代码/指令/图像描述 | 官方称不用私有数据与用户交互 | 无 | 自建 + 授权 | 未披露 | 部分 | [49] |
| Mistral | Large 3 / Medium 3 | 未披露 | AFP 仅用于 Le Chat 检索,双方声明不训练 | — | — | — | — | 无 | 未披露 | 未披露 | 否 | [56] |
| Cohere | Command A | 未披露;来源类别含向供应商采购 ⚠️二手 | — | 内部标注员;偏好 ≥3 人多数票 | — | 合成轨迹 + LLM-judge | — | — | 自建 + 外采 | Scale、Appen、Surge(旧案例页) | 部分 | [57] |
| Ai2(OLMo / Dolma / Tülu) | OLMo 3 / Tülu 3 | 7B 5.93T / 32B 5.50T;Dolmino 100B | 无,仅开放许可 | 全公开 | 公开 RL 配方 | 公开 | 无 | Dolma / Dolma 3(Ai2;含 Dolma toolkit、Olmo 3 数据)、Tülu 3(SFT mixture / 合成配方 / Dolci) | 自建 | 无 | 完全公开 | [45][69] |
| Hugging Face(Hub / Datasets) | SmolLM3 | 约 11T,三阶段 | 无 | SmolTalk2 | — | Cosmopedia / SmolTalk、SmolTalk | 无 | FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs(Hugging Face) 系 | 自建 | 无 | 完全公开 | [53] |
| Databricks | DBRX | 12T | 无 | — | — | — | TAO 用线上未标注输入做 RL | 无 | 自建 | 无 | 否 | [64] |
| 日韩与小型开源模型厂(EXAONE / HyperCLOVA X / Solar / Sakana / Liquid) | Liquid LFM2;EXAONE 4.0;HyperCLOVA X;Solar Open 2 | 10–12T;约 14T(二手);约 6T;约 12T | — | — | EXAONE / Naver / Upstage 有 RL,未量化 | Liquid Top-K 蒸馏;Naver 合成韩语 | — | 无 | 自建 | 无 | 部分 | [59][63] |
| Poolside | Malibu / Point | 未披露 | — | — | RLCEF:近百万容器化代码仓(二手) | 合成 + 执行反馈 | 企业私部署 | 无 | 自建 | 无 | 否 | [55] |
| Cursor | Tab / Composer | 基座来源有争议 | — | — | real-time RL,真实用户当环境 | — | 核心:最快约每 5 小时迭代 | 无 | 自建回流 | 无 | 否 | [54] |
| TII Falcon(Falcon-H1 / H1R) | Falcon 3 / H1 / H1R | Falcon 3 14T;H1 最多 18T(二手) | — | H1R SFT 310 万样本 | — | 有 | — | RefinedWeb(部分) | 自建 | 无 | 部分 | [58] |
| Swiss AI Apertus | Apertus | 约 15T,约 40% 非英语 | 无;追溯 robots.txt 过滤 | 公开 | 公开 | 有 | — | 全套配方与复现脚本 | 自建 | CSCS(算力) | 完全公开 | [46] |
| Reflection AI | 首款开放权重模型 | "数十万亿 token"(公司口径) | — | — | — | — | — | 只放权重 | 自建 | 未披露 | 否(明说不放数据) | [66] |
逐家拆解
下列只写总表之外的关键事实与口径边界。
中国
DeepSeek(深度求索)。 R1 论文 v2(2026-01-04)自承 V3-Base 网页含大量 OpenAI 模型生成答案,并称冷却阶段未刻意加入 [2]。V3 训练成本 $5.576M(2.788M H800 小时 × $2),论文明示不含前期研究与消融 [1]。未查到标注团队规模、供应商或采购合同。蒸馏争议见"口径冲突"。
Qwen / 阿里通义。 多语种标注系统对 >30T token 打"教育价值、领域、安全"标签,用于实例级配比 [5]。UniPat AI 创始人出自通义团队、阿里拟领投 $3 亿(媒体口径),但与 Qwen 采购关系无证据 [39]。
Kimi / 月之暗面 Moonshot。 K2 与 K2.5 的 15T 不可相加混用:K2.5 是在 K2 基础上另续训约 15T 视觉-文本 token [6][7]。K3 据第三方称报告不披露 token 总量(⚠️媒体)。
智谱 Zhipu / Z.ai。 招股书可反推的外部数据相关花费:研发"技术服务及咨询费"2022 11.41M / 2023 25.18M / 2024 45.04M / 2025H1 52.21M 元(含数据清洗与大模型评估,是上限,非纯数据项),对比算力服务费 2024 年 1,552.8M 元(70.7%)[11]。前五大供应商均为算力类,无标注或语料授权供应商单列 [11]。EU 摘要(2026-08-21)另称合成数据主要由 GLM 自家模型生成;未签署 EU GPAI 行为准则 [10]。见 智谱招股书数据外包金额与未获许可数据风险。
MiniMax。 募资用途 2026–2030 每年约 HK$64.9M 用于"数据采购、标注、合规",三项合并不可拆 [14]。2022 年 Supplier E(山西一地方 IT 公司,"data processing")US$0.2M(2.3%)是前五大里唯一数据相关条目,2023–2025 前五大无数据供应商 [14]。M1 强化学习租赁成本 $534,700(512 H800,3 周)[12]。见 MiniMax 招股书训练数据风险与预算。
字节 Seed / 豆包。 一手可核的外采只有海天瑞声 2025-12 IR 称字节"多年以来是重要客户之一"(未说明是否用于大模型训练,公司口径)[18],与法本信息自述的数据标注/采集合作(媒体转述公司口径);慧博云通"为豆包做数据标注"仅见题录,不采信。Xpert 专家标注平台、腾讯 Qlabel 等来自个人博客或媒体 ⚠️。字节 2023 年使用 OpenAI API 事件见 字节使用 OpenAI API 事件(2023) [20]。
百川智能 Baichuan。 终版 M2 SFT 200 万条,医学约 20%;"262 名医生"是 HealthBench 评测 rubric 作者,不是百川标注团队 [26]。M2 基座为 Qwen2.5-32B,即同时依赖外部基座与外部教师。
上海 AI Lab(书生 InternLM) 与智源。 两家是中国最主要的"反向供给"方。书生·万卷 WanJuan(含 OpenDataLab) 1.0 总量 >2TB,WanJuan-CC 开源量在 v1 写 300B、v6 写 100B,版本间不一致 ⚠️ [29]。CCI 系列(CCI3.0 / CCI3.0-HQ / CCI 4.0,智源) 4.0 的 CoT 子集生成模型发布稿未点名,教师条款与 cc-by-sa / Apache 再发布是否兼容未见官方说明 ⚠️ [30]。Infinity-Instruct(智源,含 COIG) 7M 为 7,449,106 条,官方 card 为 cc-by-sa-4.0(gated),第三方称 Apache-2.0 与 card 冲突,以 card 为准。
其余。 腾讯、华为、讯飞、商汤披露极少:商汤未查到任何 LLM 级别 token、标注或合成占比披露;华为 Pangu 与 Qwen 相似性争议见 Pangu Pro MoE 与 Qwen 相似性争议 [24]。快手 KAT-Coder(Kwaipilot) 是 L6 与 L4 合一的案例:用早期 KAT-Coder 接入第三方 IDE 产生生产级轨迹 [34]。
美国与全球
OpenAI。 Mercor 为已确认客户,具体金额与占比无一手数字 [47]。NYT MDL 中 Magistrate Judge Wang 命令提交 2000 万条消费者日志样本(原请求 1.2 亿),Wang 法官 2025-11-24 曾认定 OpenAI 就 Books1 / Books2 数据集删除相关沟通放弃律师-客户特权,但 District Judge Stein 于 2026-02-06 以“clearly erroneous or contrary to law”撤销该裁定,不可作为现行结论;"事后删除数十亿输出"只是原告指控,未裁定 [60]。见 NYT v. OpenAI / Microsoft。
Anthropic。 和解仅覆盖截至 2025-08-25 的行为,不含输出侧索赔,须销毁 LibGen / PiLiMi 原始文件;2026-07-20 终审批准,律师费 $101,561,111(约 6.8%)[41]。见 Bartz v. Anthropic。消费者政策:Free / Pro / Max(含 Claude Code)须在 2025-10-08 前选择(公告 2025-08-28),关闭则保留 30 天,企业、API、Gov、Education 不受影响 [61]。2026-02 蒸馏指控见 Anthropic 蒸馏指控 [36]。
Google DeepMind。 GlobalLogic 直雇 $28–32/h、分包 $18–22/h,2025-09 裁 200+ 人并有 NLRB 申诉;内部文档显示在训练自动评分模型以替代人工(WIRED 经转述)[65]。Gemma 4 训练内容摘要文件名含 2028、版本日期互相矛盾,数字暂不引用。
Meta。 Kadrey 解封文书(经原告律师转述)称 Zuckerberg 批准使用 LibGen、Meta 承认 torrent [62];Llama 3 配比约 50% 通用知识 / 25% 数学与推理 / 17% 代码 / 8% 多语言,已回溯 arXiv 2407.21783 §3 原文确认(总量 15.6T)[43]。见 Kadrey v. Meta。
xAI。 标注团队约 1,500 人,2025-09 裁约 500 名通用 tutor,称将专家 tutor 扩 10 倍 [48]。其余层未披露。
Phi 系列(Microsoft,含 TinyStories) 与 Nemotron-CC / v2(NVIDIA)。 Phi-4 的 400B 是 unweighted 合成 token 总量,不是占比;约 40% 是预训练 token 预算中的合成比例(二手综述)[50]。Nemotron 3 公开约 10T 是"可下载量",训练用约 25T,Heise 指出数据集文件修改日期晚于所述数据时间 [44]。
Ai2(OLMo / Dolma / Tülu) 与 Hugging Face(Hub / Datasets)。 OLMo 3 中期混合(Dolmino 1025 100B)约 20% 代码 / 28% 网页 / 19% 数学 / 14% QA / 8% 思考 / 6% 指令(模型卡镜像,二手)[45]。SmolLM3 使用 DCLM、FineWeb-Edu、FineWeb2、Stack v2、peS2o、FineMath、MegaMath、SmolTalk2;FineWeb-Edu 分类器用 Llama3-70B-Instruct 标注训练 [53]。见 DCLM(DataComp-LM)。
Swiss AI Apertus。 "追溯 robots.txt":站点今天屏蔽 AI 爬虫,其过去的页面也从旧爬取中移除;另过滤版权、非宽松许可、毒性与 PII [46]。见 robots.txt 与 AI 爬虫治理。
Cursor 与 Poolside。 Composer 把改进后的 checkpoint 持续部署给用户,以用户反应作奖励;Tab 每天 >4 亿次请求,新模型建议减少 21%、接受率升 28%(公司博客)[54]。两家是"L6 回流 = L4 环境"的最彻底案例,见 agent 轨迹回流与"服务即数据工厂"。
其他。 Sakana Namazu 基于 Moonshot Kimi K2.6 开源权重,仅做日语后训练 [59];Thinking Machines 以 on-policy distillation 为数据策略,配方用 OpenThoughts3、DeepMath、Tülu3(公司博客)[66];SSI、Magic 检索无一手信息;Mistral 与 AFP 的协议不应列为训练授权 [56]。
四条路线
- 开源 + 全自建派:DeepSeek、Qwen、Kimi、阶跃、蚂蚁、美团、小红书。报告讲过滤、阶段与环境,不提供应商。
- 上市披露派:智谱、MiniMax。招股书强制披露才出现"供应商陈述保证""授权 Yes""可能含未同意内容"这类措辞 [10][11][14]。
- 研究机构供给派:上海 AI Lab、智源、昆仑万维把清洗后的语料、指令、偏好集反向开源;美国对应 AI2、Hugging Face、NVIDIA、Swiss AI。
- 环境即产品派:Cursor、Poolside、快手 KAT;平台派:Thinking Machines、Databricks TAO,数据由客户带来。
谁在给谁供数:供应商 × 模型公司
行 = 供应商(含作为蒸馏教师或开放语料的来源),列 = 客户公司;颜色 = 证据强度(一手 > 公司口径 > 二手)。悬停看供数内容。
数据表
| 供应商 | 客户 | 供数内容 | 证据强度 |
|---|---|---|---|
| haitian-ruisheng | 字节 Seed、科大讯飞 | 语音/CV/NLP 数据 | 公司口径 |
| datatang | 百度 文心、腾讯混元 | 语音/CV 基础数据(2021-2022 年报点名,早于大模型期) | 公司口径 |
| 法本信息 | 字节 Seed | 数据标注/采集/ITO 外包 | 公司口径 |
| 外部标注供应商(未具名) | 智谱 | 数学/科学与 TIR STEM 的 RL 题共建 | 一手 |
| 专业数据提供商(未具名) | MiniMax | 通用训练数据与标注 | 一手 |
| licensed data vendors(未具名) | 小米 MiMo | RL 环境(代码类任务) | 一手 |
| 外包安全红队(未具名) | 百川 | 安全红蓝对抗 prompt | 一手 |
| scale-ai | Meta、Google DeepMind、OpenAI、xAI、NVIDIA、Cohere | 标注、RLHF、RL 环境(OpenAI/xAI 为减单) | 二手 |
| surge-ai | Cohere、Anthropic | RLHF、专家标注(Anthropic 仅供应商宣传页,⚠️) | 二手 |
| mercor | OpenAI、Anthropic、Meta、NVIDIA | 专家网络、评测、RL 任务 | 二手 |
| turing | NVIDIA | 编码/推理数据 | 二手 |
| appen | Cohere | 微调标注(旧案例页) | 公司口径 |
| GlobalLogic | Google DeepMind | 评分员 | 二手 |
| sama | OpenAI | 2023 年 Kenya 毒性标注(⚠️未复核) | 二手 |
| mechanize | Google DeepMind、Anthropic | RL 环境(Anthropic 为客户的说法公司未确认) | 二手 |
| Google DeepMind | 社区文本授权 | 二手 | |
| news-corp | OpenAI | 新闻授权 | 二手 |
| OpenAI o3-mini | Microsoft Phi | 推理示范蒸馏教师 | 一手 |
| DeepSeek-V3 / R1 | 快手 KAT、百川、小红书 dots | 蒸馏教师或精修(模型方自报) | 公司口径 |
| Moonshot Kimi K2.6 | 日韩与小型开源厂 | 开源基座(Sakana Namazu) | 一手 |
| fineweb | Swiss AI、Hugging Face | 开放网页语料 | 一手 |
| wanjuan | 上海 AI Lab | 开放语料(自家反向开源) | 公司口径 |
口径说明:一手 = 客户论文 / 技术报告自述;公司口径 = 供应商年报或案例页点名;二手 = 媒体或聚合站转述,含 ⚠️ 项。多数数据商不点名客户,空白不等于没有合作。
供应商反查:谁在给谁供数
证据强度:一手 = 技术报告、招股书、年报或诉讼文书点名;公司口径 = 供应商或模型方单方面自述;媒体 = 记者转述;二手 = 聚合站。
商业供应商与合作方
| 供应商 | 客户 | 数据层 | 证据强度 | 细节 |
|---|---|---|---|---|
| 外部标注供应商(未具名) | 智谱 GLM-5 | L4 / L3 | 一手 | 数学/科学 RL 题、TIR 的 STEM 题共建 [9] |
| 第三方私有数据集提供方与商业授权权利人(未具名) | 智谱 GLM-5 | L2 | 一手 | EU 摘要勾选 Yes,无名称、无金额 [10] |
| "专业数据提供商"(未具名) | MiniMax | L1 / L3 | 一手 | 招股书;Supplier E 2022 年 US$0.2M [14] |
| "licensed data vendors"(未具名) | 小米 MiMo-V2.6 | L4 | 一手 | RL 代码类任务来源之一(与公开数据集并列)[23] |
| 外包安全红队 50 人(未具名) | 百川 2 | L3 | 一手 | 200K 攻击 prompt [25] |
| 海天瑞声 | 字节 | L3 | 公司口径 | 2025-12 IR:"重要客户之一",未说明是否用于大模型 [18] |
| 海天瑞声 | 科大讯飞;百度、腾讯、阿里、微软 | L3 | 公司口径 | 招股材料与 2023 年报客户名单(FY2025 年报“产品和服务已获得…字节跳动…等客户的认可”为泛称),无金额,早于大模型时代 [71] |
| 海天瑞声 | 智谱、Meta、阿里、腾讯、月之暗面、MiniMax | L3 | 媒体 ⚠️ | 记者归纳,无信源、无金额 [38] |
| 数据堂 Datatang | 百度、腾讯 | L3 | 公司口径 | 腾讯科技(成都)2021 年 738.31 万元、2022 年 582.50 万元;百度 2021 年 557.59 万元、2022 年 651.42 万元;2023 起匿名 [19] |
| 法本信息 | 字节 | L3 | 媒体转述公司口径 | 数据标注、采集、ITO 外包,金额未披露 [18] |
| Scale AI | Meta(49% 股东);Google(原计划约 $2 亿,后切换);OpenAI、xAI 减单;NVIDIA;Cohere(旧案例页) | L3 / L4 | 媒体 / 供应商案例页 | 减单口径来自 Reuters 转述 [65] |
| Surge AI | Cohere;Anthropic、Google、OpenAI | L3 | 供应商案例页 / 二手 ⚠️ | 供货 Gemini 的说法未得证实 [57] |
| Mercor | OpenAI(已确认)、Anthropic、Meta、NVIDIA | L3 / L4 | 媒体 | NVIDIA 最近一季付数千万美元;年化毛收入 >$20 亿含专家分成,不可与净收入比较 [47] |
| Turing | NVIDIA | L3 | 媒体 | 编码/推理数据 [47] |
| Appen(澳鹏) | Cohere | L3 | 供应商口径 | 旧案例页 [57] |
| GlobalLogic(Hitachi) | L3 | 媒体 | 评分员;NLRB 文书与 WIRED 经转述 [65] | |
| Sama | OpenAI | L3 | 媒体 ⚠️ | 2023 年 Kenya 毒性标注,时薪未复核 |
| Mechanize | Google(团队并入);Anthropic | L4 | 媒体 | Anthropic 为客户的说法公司未确认 [68] |
| L2 | 媒体 | 约 $6,000 万/年 [67] | ||
| News Corp | OpenAI | L2 | 媒体 | >$2.5 亿/5 年(WSJ)[67] |
| OpenAI o3-mini | Microsoft Phi-4-reasoning | L5 | 一手 | 推理示范蒸馏 [50] |
| DeepSeek-V3 / R1 | 快手 KAT-V1;百川 M2;小红书 dots.llm1 SFT | L5 | 公司口径(自报) | 教师或精修,见各自技术报告 [34][26][31] |
| Moonshot Kimi K2.6 | Sakana Namazu | 基座 | 一手 | 开源权重上做日语后训练 [59] |
| UniPat AI | 未证实 | L4 | 无证据 | 仅融资报道,与 Qwen 采购关系无证据 [39] |
| 云测、整数智能、标贝 | 23 家中均未查到点名合同 | — | 未查到 | 整数智能称服务约 2,000 家客户(媒体口径) |
开源数据集作为事实供应商
| 数据集 | 发布方 | 被哪些模型采用 | 口径 |
|---|---|---|---|
| FineWeb / FineWeb-Edu / FineWeb-2 / FinePDFs(Hugging Face) | Hugging Face | SmolLM3、Apertus 使用变体 | 一手 [46][53] |
| Dolma / Dolma 3(Ai2;含 Dolma toolkit、Olmo 3 数据) / Tülu 3(SFT mixture / 合成配方 / Dolci) | AI2 | OLMo 3 | 一手 [45] |
| Nemotron-CC / v2(NVIDIA) | NVIDIA | Nemotron 3 公开配方 | 一手 [44] |
| 书生·万卷 WanJuan(含 OpenDataLab) | 上海 AI Lab | InternLM 系 | 公司口径 [29] |
| CCI 系列(CCI3.0 / CCI3.0-HQ / CCI 4.0,智源) | 智源 | 联盟成员共建,14+ 机构 | 公司口径 [30] |
| Infinity-Instruct(智源,含 COIG) | 智源 | 7M 条指令集 | 公司口径 [30] |
| SynLogic | MiniMax | M1 RL 逻辑数据 | 一手 [12] |
跨公司规律
- 被外采最多的是 L3 与 L4 的可验证题。 证据显示中国外采落在传统语音/CV/NLP 标注与数学/科学 STEM 可验证题(GLM-5、小米);L1 预训练几乎全靠自爬(智谱 GLMBot、阶跃 StepCrawl、小红书 trafilatura 管线)加开源语料;代码/agent 环境几乎全部来自 GitHub PR/issue + 沙箱,自建 [9][15][23][31]。
- 中国没有美国式的独立供应商层。 可点名的中国供应商只有海天瑞声与数据堂两家上市/挂牌公司,披露都在收紧;海天瑞声"训练数据相关应用服务"0.276 亿元占营收约 7%,视觉(+217.66%)与自然语言(+112.29%)增长更大 [18]。国家数据局 7 个标注基地截至 2026-06 底标注规模 >119PB、从业人员 14 万,属政策性供给,不对应单个模型公司 [40],见 国家数据局数据标注基地与标注产业。
- 合成/蒸馏分化。 预训练刻意不用合成:DeepSeek V3-Base(自述)、MiniMax M1、智谱 GLM-5 数学/科学/代码、小红书 dots.llm1;预训练大量用合成:Hunyuan-Large(约 21%,换算值)、小米(中期约 5%)、Phi-4(约 40% 预算)、CCI4.0 CoT(425B token)。SFT/RL 层普遍从更强教师蒸馏,DeepSeek-R1/V3 是中国公司最常见的开源教师 [22][23][50][30]。
- 披露窗口在变。 港股招股书(智谱、MiniMax)与 EU AI Act 训练内容摘要(GLM-5、Apertus 1.5、SmolLM3、Gemma 4)是 2026 年新增的两类一手渠道;美国闭源 lab 的书籍层真实来源只在诉讼里出现 [10][11][14][41][62],见 EU AI Act 通用模型训练数据摘要与行为准则。
- 供应商中立性是资产。 Meta 入股 Scale 后 Google、OpenAI、xAI 减单,订单流向 Surge、Mercor 等;Mercor 毛收入2026 年上半年约 91%(媒体口径,The Information 转述)来自基础模型公司,单一客户暴露高 [47][65],见 数据商市场结构。
- 推断: 供应商的可见度与模型方的披露意愿负相关。中国模型方几乎全部匿名化外采,供应商卡片只能从供方年报与媒体反向拼出;美国模型方匿名、供应商自曝客户。两侧都不能把供方客户名单直接当作模型方的数据来源。
- 推断: 若 L4 环境与 L6 回流合并成同一件事(Cursor、Poolside、快手 KAT),外采环境公司的天花板是 lab 自建。
对数据供应商的含义
以下 1–3 条为证据直接支持的事实归纳,4–6 条为推断。
- 能点名的现金外采集中在 L3 传统标注与 L4 的 STEM 可验证题,且都匿名化 [9][14][23]。
- 中国可见的供应商收入集中在两家上市/挂牌公司,海天瑞声前五客户占 46.20%,单一客户 18.99% [18]。
- 美国 L3 外采的买方集中度高,Mercor 毛收入2026 年上半年约 91%(媒体口径,The Information 转述)来自基础模型公司;Meta 入股 Scale 后买方减单是供应商中立性受损的直接例证 [47][65]。
- 推断:开源数据集发布方(AI2、Hugging Face、智源、上海 AI Lab)是通用语料与通用指令数据商的直接竞品;仍需付费的是开源集缺的属性,如专家级可验证题与环境。
- 推断:RL 环境外采的天花板是 lab 自建,Cursor、Poolside、DeepSeek V3.2 的合成环境已在替代外采。
- 推断:版权风险在 2026 年从"诉讼暴露"转向"主动披露"(招股书、EU 摘要),授权类供应商的价值取决于能否出具合法性陈述与来源证明。
阅读说明
- 层与层的口径不完全可比:中国技术报告披露 L1 token 最完整、L3 条数最少;美国闭源 lab 的 L1 为空,需从诉讼与媒体拼出。
- "未披露"与"未查到"表示一手与二手来源均未见,不代表不存在。
- 带 ⚠️ 的数字为媒体口径、二手转述或未回溯一手,不宜直接引用为事实。
- 公司口径数字(技术报告、招股书、官方 card、IR 记录)未经独立核验;供应商案例页中的客户名单同理。
口径冲突与未核实
| 说法 A | 说法 B | 采信 | 原因 |
|---|---|---|---|
| 海天瑞声是智谱、Meta、阿里、腾讯、月之暗面、MiniMax 的供应商 | 年报与 IR 只有匿名前五客户与字节"重要客户之一" | B | A 为记者归纳、无信源、无金额 ⚠️ [38][18] |
| 数据堂证券代码 301365 | 新三板 831428 | 831428 | 301365 与之不符,未采用 |
| Kimi K2.5 约 15T | K2 15.5T + K2.5 另续训约 15T | B | 15T 指续训量,合计约 30T [6][7] |
| MiniMax 招股书数据采购额 | 募资用途 HK$64.9M/年含标注与合规 | 不拆分 | 三项合并,不可拆出纯数据采购 [14] |
| Anthropic 和解"约 50 万册 / 约 465,000 册" | Works List 482,460 册 | 482,460 | 法院文书层面最具体 [41] |
| Phi-4 合成"50%" | 约 40% 预训练 token 预算;400B 为 unweighted 总量 | B | 50% 未见来源 [50] |
| Llama 4 "30T" | Scout 40T / Maverick 22T | B(⚠️二手) | 须回溯 Meta 官方模型卡 [70] |
| ZAYA1 12T / 14T / 20T | GPU 1,024 vs 1,536 | 均不采信 | 技术报告转述、媒体、AMD 案例页互相冲突 [59] |
| Nemotron 3 "全部公开" | 训练约 25T、公开约 10T | B | 10T 为可下载量 [44] |
| Mistral 获 AFP 训练授权 | 双方声明仅用于 Le Chat 检索、不训练 | B | [56] |
| Cursor Composer 基于 Kimi K2.5 | 无一手确认 | 不入正文 | 仅第三方评论 [54] |
| Anthropic 环境预算 $10 亿+ | 讨论过的方案,归因(The Information / TechCrunch)不一致 | 均标媒体 ⚠️ | [68] |
| Google 向 Scale 年度支出约 $2 亿 | 同一数字,加"上年约 $1.5 亿" | 一致 | Reuters 转述 [65] |
| Surge / Mercor 供货 Gemini | 未得证实 | 不进总表 | [65] |
| Reflection AI 已发布 | 2026-08 分析称未发布;10-04 称即将发布 | 状态未确认 | [66] |
| "262 名医生"为百川标注团队 | HealthBench 评测 rubric 作者 | B | [26] |
| 昆仑万维 SynPref-40M 为 4,000 万人工偏好 | 人工金标集 + LLM 扩展,训练用 2,600 万子集 | B | [35] |
| WanJuan-CC 开源量 300B | v6 写 100B | 并列 | 版本间不一致 ⚠️ [29] |
| Anthropic 指控 DeepSeek / Moonshot / MiniMax 蒸馏 | Moonshot 否认(归因 MuonClip 等);DeepSeek、MiniMax 未查到公开回应 | 均不作事实 | Anthropic 单方口径,未经独立核实;白宫 2026-07-22 指控 Moonshot 同样无公开证据 [36][37],见 蒸馏地缘政策与条款禁令 |
来源
访问日 2026-10-15。
- DeepSeek-V3:https://arxiv.org/pdf/2412.19437
- DeepSeek-R1(v2 2026-01-04):https://arxiv.org/pdf/2501.12948
- DeepSeek-V3.2:https://arxiv.org/pdf/2512.02556
- DeepSeek V4:https://huggingface.co/blog/deepseekv4
- Qwen3:https://arxiv.org/pdf/2505.09388
- Kimi K2:https://arxiv.org/pdf/2507.20534
- Kimi K2.5:https://arxiv.org/pdf/2602.02276
- GLM-4.5:https://arxiv.org/pdf/2508.06471
- GLM-5:https://arxiv.org/pdf/2602.15763
- GLM-5 家族 Public Summary of Training Content(EU AI Act):https://cdn.bigmodel.cn/static/glm5.3/The%20Public%20Summary%20of%20Training%20Content%20for%20the%20GLM5%20Family.pdf
- 智谱招股书:https://www1.hkexnews.hk/listedco/listconews/sehk/2025/1230/2025123000018_c.pdf
- MiniMax-M1:https://arxiv.org/pdf/2506.13585
- MiniMax M2 系列:https://arxiv.org/pdf/2605.26494
- MiniMax 招股书:https://www1.hkexnews.hk/listedco/listconews/sehk/2025/1231/2025123100025.pdf
- Step 3.5 Flash:https://arxiv.org/pdf/2602.10604
- Seed1.5-Thinking:https://arxiv.org/html/2504.13914 ;Seed1.5-VL:https://arxiv.org/pdf/2505.07062
- Seed2.0 model card:https://arxiv.org/pdf/2607.00248
- 海天瑞声 FY2025 年报:https://stockmc.xueqiu.com/202604/688787_20260424_M2WS.pdf ;字节与法本信息表述为 IR 记录与财联社/每日经济新闻转述
- 数据堂 FY2022 年报转述:https://news.qq.com/rain/a/20250304A0977O00 ;FY2024 年报经同花顺公告库
- 字节与 OpenAI API:https://the-decoder.com/openai-bans-tiktok-company-bytedance-from-chatgpt-due-to-possible-data-theft/
- ERNIE 5.0:https://arxiv.org/abs/2602.04705 ;ERNIE 4.5 技术报告:ernie.baidu.com
- Hunyuan-Large:https://arxiv.org/abs/2411.02265
- MiMo-V2-Flash:https://arxiv.org/abs/2601.02780 ;MiMo-V2.6:https://arxiv.org/abs/2610.11959
- Pangu 争议:https://www.cxodigitalpulse.com/huawei-denies-copying-alibabas-qwen-model-in-pangu-pro-moe-development/
- Baichuan 2:https://arxiv.org/abs/2309.10305
- Baichuan-M2:https://arxiv.org/abs/2509.02208
- Yi:https://arxiv.org/abs/2403.04652 ;Yi-Lightning:https://arxiv.org/abs/2412.01253
- MiniCPM4:https://arxiv.org/abs/2506.07900
- InternLM2:https://arxiv.org/abs/2403.17297 ;Intern-S1:https://arxiv.org/abs/2508.15763
- CCI3.0:https://arxiv.org/abs/2410.18505 ;CCI4.0 发布稿:https://hub.baai.ac.cn/view/45537 ;Infinity-Instruct:https://huggingface.co/datasets/BAAI/Infinity-Instruct
- dots.llm1:https://arxiv.org/abs/2506.05767
- LongCat-Flash:https://arxiv.org/abs/2509.01322
- Ling 2.0:https://arxiv.org/abs/2510.22115
- KAT-Coder:https://arxiv.org/abs/2510.18779 ;KAT-V1:https://arxiv.org/abs/2507.08297
- Skywork-13B:https://arxiv.org/abs/2310.19341 ;Skywork-OR1:https://arxiv.org/abs/2505.22312 ;Skywork-Reward-V2:https://arxiv.org/abs/2507.01352
- Anthropic,Detecting and preventing distillation attacks(2026-02-23):https://www.anthropic.com/news/detecting-and-preventing-distillation-attacks
- 白宫官员指控 Moonshot:https://siliconangle.com/2026/07/23/senior-white-house-official-accuses-moonshot-ai-copying-anthropics-leading-frontier-model/
- 21 世纪经济报道(海天瑞声客户名单,2026-10-09):https://finance.sina.cn/stock/jdts/2026-10-09/detail-iniurwaf7778162.d.html
- UniPat 融资:https://dealroom.co/news/149924-alibaba-leads-300m-round-for-ai-testing-startup-unipat-at-2-5b/
- 国家数据局标注基地:https://www.news.cn/tech/20250729/77dea602553d4ecd8778d105cb137bd9/c.html ;https://m.gmw.cn/2026-07/18/content_1304534545.htm
- Bartz v. Anthropic 和解:https://legalblogs.wolterskluwer.com/copyright-blog/the-bartz-v-anthropic-settlement-understanding-americas-largest-copyright-settlement/ ;https://pearlcohen.com/federal-court-approves-1-5-billion-anthropic-copyright-settlement-largest-in-history ;LibGen ≥500 万 / PiLiMi ≥200 万册出自 Alsup 2025-06 裁定原文,转引:https://simonwillison.net/2025/Jun/24/anthropic-training/
- Kadrey v. Meta 解封文书:https://techcrunch.com/2025/01/09/mark-zuckerberg-gave-metas-llama-team-the-ok-to-train-on-copyrighted-works-filing-claims
- Llama 3:https://arxiv.org/abs/2407.21783 ;二手配比综述:https://arxiv.org/pdf/2501.04040
- Nemotron:https://docs.nvidia.com/nemotron/latest/nemotron/nano3/pretrain.html ;https://heise.de/-11120837
- OLMo 3 / Dolma 3:https://friendli.ai/models/allenai/Olmo-3-1025-7B (模型卡镜像,二手)
- Apertus:https://the-decoder.com/swiss-ai-initiative-introduces-apertus-as-a-fully-open-language-model-focused-on-transparency-and-privacy ;https://aial.ie/research/gpai-training-transparency/archive/Apertus_1_5_2026_08_05.pdf
- Mercor:https://dealroom.co/news/137121-mercor-doubles-to-2b-gross-revenue-run-rate-as-ai-labs-buy-expert-data/ ;https://techcrunch.com/2025/10/29/how-ai-labs-use-mercor-to-get-the-data-companies-wont-share ;91% 与 H1 毛收入出自 The Information 报道,转引:https://aiweekly.co/alerts/mercor-books-614m-in-h1-2026-leaning-on-openai-anthropic ;NVIDIA 付款:https://www.pymnts.com/?p=4098621
- xAI 裁员:https://techcrunch.com/2025/09/13/xai-reportedly-lays-off-500-workers-from-data-annotation-team
- Apple Foundation Models 2025:https://machinelearning.apple.com/research/apple-foundation-models-2025-updates
- Phi-4:https://arxiv.org/abs/2412.08905 ;Phi-4-reasoning:https://arxiv.org/abs/2504.21318
- Gemma 3:https://arxiv.org/pdf/2503.19786 ;Gemma 4 摘要:https://aial.ie/research/gpai-training-transparency/evals/gemma-4/
- Amazon FMTI:https://crfm.stanford.edu/fmti/December-2025/company-reports/Amazon_FinalReport_FMTI2025.html
- SmolLM3:https://www.huggingface.co/blog/smollm3
- Cursor:https://cursor.com/blog/real-time-rl-for-composer ;https://cursor.com/blog/tab-rl
- Poolside:https://aws.amazon.com/bedrock/poolside (二手:https://www.aimadetools.com/blog/poolside-laguna-m1-complete-guide/)
- Mistral–AFP:https://techcrunch.com/2025/01/16/mistral-signs-deal-with-afp-to-offer-up-to-date-answers-in-le-chat
- Cohere:https://arxiv.org/abs/2504.00698 ;https://surgehq.ai/case-study/cohere-rlhf ;https://scale.com/customers/cohere ;https://appen.com/case-studies/cohere-fine-tuning-for-enterprise (供应商口径)
- Falcon:https://arxiv.org/abs/2507.22448 ;https://arxiv.org/abs/2601.02346
- Liquid / Zyphra / Sakana:https://arxiv.org/abs/2511.23404 ;https://www.amd.com/en/resources/case-studies/zyphra-trains-advanced-reasoning-models-at-scale-with-amd.html ;https://sakana.ai/namazu-api
- NYT MDL:https://decrypt.co/351000/openai-ordered-20m-chatgpt-logs-nyt-copyright-case ;https://chatgptiseatingtheworld.com/2025/11/24/magistrate-judge-wang-rules-v-openai-again-holding-waived-attorney-client-privilege-re-deletion-of-books1-books2-datasets-cold-comfort-to-openai-judge-finds-no-crime-fraud-exception-applies/ ;https://chatgptiseatingtheworld.com/wp-content/uploads/2026/02/Judge-Stein-ruling-on-waiver-Feb-6-2026.pdf (撤销);https://techcrunch.com/2026/07/09/new-york-times-says-openai-hid-evidence-in-chatgpt-copyright-trial/
- Anthropic 消费者政策(二手):https://www.businesstoday.in/amp/technology/news/story/anthropic-to-use-claude-conversations-for-ai-training-unless-users-opt-out-by-september-28-491530-2025-08-29
- Kadrey 补充(Engadget):https://www.engadget.com/ai/lawsuit-says-mark-zuckerberg-approved-metas-use-of-pirated-materials-to-train-llama-ai-141548827.html
- 韩国模型:https://arxiv.org/abs/2507.11407 ;https://arxiv.org/abs/2506.22403 ;https://arxiv.org/pdf/2607.20062
- Databricks:https://getcoai.com/news/databricks-tao-system-improves-ai-models-without-costly-labeled-data
- Google–Scale / GlobalLogic:https://www.verdict.co.uk/google-scale-ai-meta-acquisition/ ;https://www.ibtimes.com/google-accused-axing-over-200-workers-who-trained-gemini-chatbot-after-they-demanded-better-pay-3783706
- Thinking Machines / Reflection:https://tinker-docs.thinkingmachines.ai/cookbook/recipes/distillation/ ;https://app.dealroom.co/news/note/nvidia-backed-reflection-ai-prepares-first-open-weight-model-launch
- OpenAI 授权:https://llmpulse.ai/blog/openai-publisher-deals/
- Anthropic 环境预算(Epoch 二手):https://www.cxodigitalpulse.com/?p=42733
- DCLM / OLMo 2:https://arxiv.org/abs/2406.11794
- Llama 4:https://charonhub.deeplearning.ai/meta-releases-llama-4-models-claims-edge-over-ai-competitors/
- 海天瑞声 2021 招股材料与 2023 年报(讯飞等客户):https://cs.com.cn/ssgs/gsxw/202108/t20210813_6193697.html ;https://paper.cnstock.com/html/2024-04/26/content_1906632.htm
本章涉及的实体
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。