训练成本参照
DeepSeek V3 $557.6 万等公开训练成本口径及其局限,数据采购不显形
- 成立
- 2026-10
- 数据类型
- 算力租金口径;开发成本分解
公开参照点
- DeepSeek-V3:278.8 万 H800 GPU 小时 × $2 = $557.6 万;预训练约 $532.8 万、上下文扩展 $23.8 万、后训练 $1 万;报告自述为租金口径,不含此前研究、消融、薪资与数据采购 [1]。
- MiniMax-M1 RL:512 张 H800 × 3 周,租金 $534,700(公司口径)。
- Olmo 3 Think 32B:约 56 天、1,024 块 H100,论文 2.4 节按 $2/H100 小时估算约 $275 万(论文自估;挂钟时间估算,非实际 GPU 小时汇总)[4]。
- Kimi K2 Thinking 后训练 $460 万:CNBC 转述,CEO 称非官方,⚠️ 待核。
开发成本分解
Epoch 估算前沿模型开发成本中硬件 47–67%、研发人员 29–49%、能耗 2–6%;最终训练的摊销硬件与能耗成本自 2016 年起约每年 2.4 倍增长(论文最新版 90% CI 2.0–2.9;早期版本曾写 95% CI 2.0–3.1),基于云租价的估算约 2.6 倍/年 [2][3];该成本分解口径来自 Epoch 博客(GPT-4、Gemini Ultra 等)。
局限
数据采购在这些口径里被归入“研发”或根本不计,无可核的数据/算力比值。真实的数据支出出现在供应商收入端(如 Mercor、Scale AI),而不是训练成本报告里。“环境与标注成本已超训练算力”一说无可查来源,不采用。
来源
相关卡片
Ai2(OLMo / Dolma / Tülu)公司与机构 · 美国
非营利研究所,全开放模型与语料(数据、代码、配方)的头号提供方
DeepSeek(深度求索)公司与机构 · 中国
全自建 + 规则奖励 RLVR 路线,合成 agent 环境是 V3.2 的数据亮点
Kimi / 月之暗面 Moonshot公司与机构 · 中国
K2 数据 rephrasing 与大规模 agentic 合成,蒸馏指控的焦点之一
MiniMax公司与机构 · 中国
招股书承认训练数据可能含未获同意内容;M2 以 PR 环境加教师蒸馏造轨迹
LLM 数据价格带概念与方法
从免费语料到 RL 环境,各层单价跨约 6 个数量级
RL 环境价格带与成本结构概念与方法
单任务 $200–2,000,UI 复刻约 $2 万,合同七位数每季度
开源模型数据配比总表概念与方法 · 全球
Llama 3 / Olmo 3 / SmolLM3 等开源模型的 token 数与占比披露度对照
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。