模型训练数据配方

整理 2026-10-15 · 来源与口径标注见正文
本文目录
  1. 一句话结论
  2. 配方怎么读
  3. 分组解读
  4. 厂商与渠道
  5. 应用方式
  6. 规模、成本与价格
  7. 局限与争议
  8. 口径冲突与未核实
  9. 来源

一句话结论

  1. 配方的共同骨架是"公共库打底 + 模型自产数据放大 + 极少量真值收尾":AlphaFold2 训练时约 75% 样本取自自蒸馏的 355,993 条 Uniclust30 序列预测、约 25% 取自 PDB(二手转述)[1][2]。
  2. 蒸馏已进入"多轮套娃":Boltz-2 蒸馏集含约 500 万 AFDB 单体,外加上一代 Boltz-1 预测的 RNA / 蛋白-DNA / 配体 / TCR-pMHC 复合物;OpenFold / OpenFold3 的 OpenFold3 preview 含约 1,300 万 MGnify 长单体蒸馏,约为 PDB(约 24.5 万结构)的 50 倍(二手)[4][6]。
  3. 真值(湿实验)在预训练里条目占比极小,权重却高;公开可查的模型里,亲和力数据全部来自公共库——Boltz-2 用 ChEMBL v34 + BindingDB + PubChem(约 120 万结合物),无 PDBbind、无商业数据,Recursion 内部 assay 只用于评测 [6]。
  4. 数据截止日各异,泄漏是评测核心问题:AlphaFold3 训练 PDB 截止 2021-09-30,Boltz-2 为 2023-06-01,ESM3 仅取 2020-05-01 前的 X 射线结构 [3][6][12]。
  5. 查到的开源/学术模型无一公开购买商业训练数据;药企私有真值走联邦微调(OpenFold3 × Apheris,5 家药企、数千个蛋白-小分子结构),Tahoe / Parse 的扰动数据则以公开数据集形式供模型使用 [5][25]。

配方怎么读

各模型训练数据构成:公共库 · 蒸馏合成 · 私有真值(份额)

按各模型论文或模型卡披露的条目数或采样比例折成份额;单位各不相同(序列数、细胞数、采样权重),只用于看结构,不可跨模型比绝对量。Tahoe-x1 公共部分未核,未画。

AlphaFold 2AlphaFold 2 · 公共数据库:25%25%AlphaFold 2 · 蒸馏 / 合成:75%75%Boltz-2 亲和力Boltz-2 亲和力 · 公共数据库:50%50%Boltz-2 亲和力 · 蒸馏 / 合成:50%50%ESM3ESM3 · 公共数据库:88%88%ESM3 · 蒸馏 / 合成:12%12%scGPTscGPT · 公共数据库:100%100%GeneformerGeneformer · 公共数据库:100%100%
公共数据库蒸馏 / 合成私有真值
数据表
模型发布公共蒸馏/合成私有真值口径
AlphaFold 2202125%75%0%采样比例(%):聚类 PDB 25 / 自蒸馏 355,993 条序列 75;NVIDIA 模型卡转述(二手)[40]
Boltz-2 亲和力2025-0650%50%0%条目数:ChEMBL+BindingDB 优化集约 120 万结合物;另 120 万合成诱饵;全部公共来源 [9]
ESM3202488%12%0%序列条目数:自然 2.78B;合成增强后 3.15B,差额 3.7 亿为推算;模型卡口径 [10]
scGPT2023100%0%0%细胞数:CELLxGENE 来源 >3,300 万正常人细胞(二手)[43]
Geneformer2023100%0%0%细胞数:Genecorpus-30M 约 3,000 万(后续扩展版约 1.04 亿)[43]

来源见“模型训练数据配方”章总表。

本章把每个模型的训练数据拆成三栏,并统一用这套口径比较:

栏 定义 典型内容 对应层
公共库 任何人可下载的数据库与公开数据集 Protein Data Bank (wwPDB)、UniProt、MGnify、ChEMBL、BindingDB、PubChem、CZ CELLxGENE Discover / Census、OpenGenome2 公共数据库层
蒸馏 / 合成 由模型或仿真产生的"伪标签":预测结构、逆折叠生成序列、MD、教师集成 AlphaFold Protein Structure Database 预测、ESM3 逆折叠序列、Boltz-1 预测复合物、mdCATH 仿真与合成层,详见 AlphaFold DB 与结构蒸馏
私有或商业真值 非公开的湿实验数据,或购买 / 联邦汇聚的数据 药企联邦结构、内部湿实验室、Adaptyv Bio / Twist Bioscience 等 CRO 测量 湿实验真值层

阅读规则:

  • "未查到 / 未披露"表示公开材料未取得一手披露,不等于没有;表中保留原样。
  • 标"(二手)"为媒体、文档镜像或社区复现转述;"公司口径"为机构自报。
  • "规模"栏数字的单位随模型不同(序列、结构、细胞、核苷酸),不可跨行直接比较。
  • 通用阶段模板如下。
阶段 数据 典型来源 占比逻辑
预训练 海量无标注序列 / 基因组 / 单细胞 UniRef、MGnify、GTDB、CELLxGENE、SRA 条目数占 99% 以上;按 UniRef50 / 70% 聚类、每簇封顶 20 条重采样降冗余
结构监督 实验结构 PDB(约 24–25 万条) 条目少,采样权重高
放大 蒸馏 / 合成 AFDB、ESMAtlas、模型自生成序列、MD、DFT 条目数可超真值 1–2 个数量级
亲和力 / 功能 公共测定 + 少量私有 ChEMBL / BindingDB / PubChem;药企联邦数据 数百万条,噪声大,需置信度过滤
后训练 / 对齐 湿实验真值、偏好数据 CRO、内部实验室 千到万条,权重最高
评测 时间切分的新结构 / 新测定 PDB 后期释放、CASP、盲测 严格排除训练

总表

字段:模型|机构|发布|公共数据库|蒸馏 / 合成|私有或商业真值|规模|数据供应方|来源。

模型 机构 发布 公共数据库 蒸馏 / 合成 私有或商业真值 规模 数据供应方 来源
结构
AlphaFold2 DeepMind 2021-07 PDB(<2018-04)、Uniclust30、BFD、MGnify 自蒸馏约 35.6 万条 Uniclust30 序列的预测结构 无 采样约 75% 蒸馏 / 25% PDB(二手) wwPDB 社区 [1][2]
AlphaFold3 Google DeepMind + Isomorphic Labs 2024-05 PDB(<2021-09-30)、UniRef90、MGnify、BFD、Rfam 14.9、RNAcentral 21.0、NT、JASPAR 2022 AF-Multimer v2.3 与 AF2 预测交叉蒸馏 无私有披露 批 256 样本;最近 PDB 评测集 8,856 复合物;各集采样权重正文未给 wwPDB [3]
OpenFold / OpenFold3(OpenFold3 preview) OpenFold Consortium 2025-10 PDB 约 24.5 万结构 + MSA MGnify 长单体约 1,300 万、短单体约 40 万、AF2 无序集、Rfam RNA 预测 药企联邦微调:AbbVie、Astex、BMS、J&J、Takeda 数千个蛋白-小分子结构 蒸馏集条目约为 PDB 的 50 倍(二手) Apheris 联邦网络 [4][5]
Boltz-2(含 Boltz-1) MIT + Recursion;Boltz PBC 2024-11 / 2025-06 PDB(<2023-06-01)、MISATO、ATLAS、mdCATH;亲和力:ChEMBL v34、BindingDB、PubChem 1.8.1 AFDB 单体约 500 万;Boltz-1 预测的 RNA / DNA / 配体 / TCR-pMHC / MHC;合成诱饵 无;Recursion 内部 assay 仅评测 MD 三套共约 1.78 万体系;亲和力约 120 万结合物 公共库;Recursion 提供算力 [6][7]
Chai-1 Chai Discovery 2024-09 PDB 等(细节未取到 ⚠️) 未查到 ⚠️ 未查到 ⚠️ Apache 2.0,代码 + 权重,含商用 未查到 [8]
Chai-2 Chai Discovery 2025-06-30 未披露 未披露 未披露;验证 52 靶 × ≤20 设计,约 16% 命中,约 50% 靶点得到结合物(公司口径) 闭源 验证执行方未披露 [9]
RoseTTAFold All-Atom Baker 组(IPD) 2024-03 PDB 全生物装配体 约为 PDB 10 倍的 AF2 预测模型(博客转述) 无 约 1:10(二手) wwPDB [10]
蛋白语言与设计
ESM-2 / ESMFold / ESMFold Meta FAIR 2022–2023 UniRef50(约 6,500 万簇) ESMFold 用 AF2 预测蒸馏(约 1,200 万,未回源) 无 训练簇 6,518 万(NVIDIA 复现口径) UniProt [11]
ESM3 EvolutionaryScale(2025-11 并入 Chan Zuckerberg Biohub) 2024-06 UniRef 2023_02、MGnify90、JGI、OAS(>10 亿抗体序列)、PDB、AFDB v4、ESMAtlas 逆折叠合成序列;预测结构;InterPro 功能标注 无 3.15B 序列、236M 结构、539M 功能标注、771B 唯一 token;98B 参数 UniProt / EBI、JGI、OAS [12]
ProGen3 Profluent 2025-04 自建 PPA-1 无明确 实验室数据对齐(规模未读到) PPA-1:3.4B 全长蛋白、1.1T 氨基酸 token;最大 46B MoE 参数、1.5T token Profluent 自有宏基因组库(公司称约 800 亿序列);Twist 合作 [13]
ProteinMPNN Baker 组 2022 PDB 生物单元(2021-08-02 快照,30% 聚类约 2.8 万簇,二手) 无 无 单链 19,700(二手) wwPDB [14]
RFdiffusion / RFdiffusion2(含 RFdiffusion2) Baker 组 2023 / 2025-04 PDB(细节未回源);M-CSA 用于基准 RFdiffusion2 训练用随机原子坐标 motif 无训练用私有数据(酶设计湿实验仅作验证) 41 个基准问题全解,前代 16(二手) wwPDB、M-CSA [15]
Chroma(Generate Biomedicines) Generate Biomedicines 2023-11 PDB(细节未回源) 无 310 个蛋白表达验证 权重学术 / 非营利免费 未查到 [16]
EvoDiff Microsoft Research 2023 UniRef50(约 4,200 万序列);OpenFold 数据集(40.1 万 MSA) 无 无 序列模型 4,200 万 UniProt、OpenFold [17]
基因组
Evo 2 Arc Institute + NVIDIA 等 2025-02 OpenGenome2:原核 113,379 基因组、真核 15,032 基因组、宏基因组、细胞器 无 无 OpenGenome2 共 8.84 万亿 nt;40B 模型训练 9.3 万亿 token;上下文最长 1M;真核病毒被排除 NCBI / GTDB 等 [18]
Nucleotide Transformer InstaDeep 2023 3,202 个人类基因组(1000 Genomes)、850 个物种基因组 无 无 50M–2.5B 参数 1000 Genomes、NCBI [19]
GENA-LM AIRI 等 2023 人类 T2T 基因组(未回源) 无 无 未查到 未查到 未查到
AlphaGenome Google DeepMind 2025-06 ENCODE、GTEx(发布的训练集因许可剔除 GTEx 数据)、4D Nucleome、FANTOM5 全折教师集成蒸馏出单一学生 无(功能基因组测定本身即训练真值) 人 5,930 轨 / 小鼠 1,128 轨,11 模态,输入 1 Mb;4 折交叉验证 公共功能基因组联盟 [20][21]
单细胞 / 虚拟细胞
scGPT 多伦多大学 / Vector 2023 / 2024-02 CZ CELLxGENE Discover / Census 为主 无 无 3,300 万正常人类细胞,51 器官 / 441 项研究(二手) CZ CELLxGENE [22]
Geneformer Broad 等 2023 / V2 2024-12 Genecorpus-30M(29,900,531 细胞、561 数据集);V2 Genecorpus-104M 无 无 V2 约 1.04 亿非癌 + 约 1,400 万癌症细胞续训;排除恶性与永生化细胞系 公共 scRNA-seq [23]
scFoundation 清华 + 百图生科 2024-06 公共 scRNA-seq 无 无 >5,000 万人类细胞,1 亿参数,约 2 万基因 公共库 [24]
Arc State Arc Institute 2025-06 State Embedding:1.67 亿观测细胞;State Transition:Tahoe-100M、Parse-PBMC、Replogle-Nadig 无 扰动数据由外部生产(见供应方) ST 训练 >1 亿扰动细胞、70+ 细胞背景;评测 2,102 种扰动 / 5 数据集 / 40 背景 Tahoe Therapeutics、Parse Biosciences、Replogle / Nadig 实验室 [25]
TranscriptFormer CZI / Biohub 2025-04 CELLxGENE 等 无 无 TF-Metazoa 1.12 亿细胞 / 12 物种;TF-Exemplar 1.1 亿;TF-Sapiens 5,700 万 公共库 [26]
Tahoe-x1 Tahoe Therapeutics 2025-10 Arc scBaseCount、CELLxGENE 无 Tahoe-100M(自产药物扰动真值,CC0 公开) 约 2.66 亿细胞;70M / 1.3B / 3B 参数;Apache 2.0 Tahoe 自产 + 公共 [27]
小分子
Uni-Mol 深势科技 DP Technology 2022–2023 公共小分子库与 PDB 口袋 3D 构象由工具生成 无 2.09 亿分子构象 + 300 万蛋白口袋 公共库 [28]
MoLFormer IBM 2021–2022 PubChem(约 1.11 亿)、ZINC(>10 亿) 无 无 约 11 亿 SMILES PubChem、ZINC [29]
xTrimo / xTrimoPGLM(xTrimoPGLM) 百图生科 + 清华 + MBZUAI 2023 / 2025 蛋白序列库 无 无 约 9.4 亿唯一序列、>1 万亿 token、100B 参数 公共库 [30]
前沿实验室管线
AlphaProteo Google DeepMind 2024-09 PDB + 超过 1 亿个 AlphaFold 预测结构 AlphaFold 预测结构作训练 DeepMind 内部湿实验室;Francis Crick Institute 验证 7/8 靶点成功(BHRF1 88–90%,TNFα 失败) wwPDB + AFDB [31]
Anthropic 蛋白 binder 实验 Anthropic 2026-08 开源设计与共折叠工具(Protenix v2、ESMFold2 等) 不适用(使用者而非训练者) Adaptyv Bio 与 Twist Bioscience 的 SPR / BLI 测量 1,320 设计 / 354 binder = 26.8% Adaptyv、Twist [32]
Isomorphic IsoDDE Isomorphic Labs 2026-02 未披露 未披露 未披露 技术报告称蛋白-配体泛化基准准确率超 AF3 两倍(公司口径) 内部 [33]
GPT-4b micro OpenAI + Retro Biosciences 2025-01 蛋白序列、生物文本、tokenized 3D 结构(媒体转述) 无 Retro 在人成纤维细胞做湿筛 >30% 建议序列超过野生型 SOX2(传统筛选 <10%,二手) Retro [34]

分组解读

结构类

AlphaFold2。 PDB 截止约 2018-04,自蒸馏集 355,993 条序列,训练时约 75% / 25% 采样,是后来所有"蒸馏放大"的原型。NVIDIA 文档的 355,993 与社区复现集的约 27 万不一致,复现集并非原训练集(二手)。

AlphaFold3。 一手论文:训练结构不晚于 2021-09-30,PoseBusters 专用模型用 2019-09-30;训练 PDB 快照下载于 2023-01-12;最近 PDB 评测集 8,856 个复合物(2022-05-01 至 2023-01-12 释放),PoseBusters 基准 428 个 2021 年及之后的蛋白-配体结构 [3]。蒸馏目的是抑制无序区幻觉,不再像 AF2 那样主导训练。论文方法部分没有披露是否使用 Isomorphic 内部专有数据,此项未查到。

OpenFold3。 Apache 2.0。联邦微调由 5 家药企各自贡献数千个蛋白-小分子实验结构,不到 10 周完成,产物 AISB-1-Fed,据 Apheris 称优于任何单一伙伴数据微调的模型(公司口径)[5]。这是开源模型里"汇聚私有真值"的首个路径,数据不出各药企边界。

Boltz-1/2。 亲和力连续值来自 ChEMBL v34(置信度 9、单蛋白靶点)、BindingDB、PubChem;二元标签来自 PubChem HTS、CeMM 片段集、MIDAS 代谢物,并配合成诱饵;只保留平均预测 ipTM > 0.75 的 assay,即用结构模型自己过滤数据;未披露任何商业购买或药企私有训练数据 [6]。Boltz-2 与 FEP 的"Pearson 0.62、快 1,000 倍"来自 Boltz-2 与 Recursion 的新闻稿,属公司口径。许可 MIT。

Chai-1 / Chai-2。 Chai-1 代码与权重 Apache 2.0,含商用;训练数据明细未取到 ⚠️。Chai-2 训练数据与湿实验伙伴均未披露:Adaptyv 公开客户包含 Chai,但 Chai-2 报告未写验证由谁执行,不可断言。

RoseTTAFold All-Atom。 训练为 PDB 全生物装配体,另加约 10 倍的 AF2 预测模型(博客转述);PDB 截止与 CSD 的使用未查到。

蛋白语言与设计

ESM-2 / ESMFold。 每步在 UniRef50 簇内均匀抽样再取一条 UniRef90 序列(NVIDIA 复现口径 65,182,365 个训练簇、187,382,018 条 UniRef90 序列,二手)。ESMFold 的结构监督含 AF2 蒸馏。

ESM3。 结构监督来自 PDB(<2020-05-01、X 射线、分辨率优于 9 Å)、AFDB v4(pLDDT ≥ 0.7)、ESMAtlas(pLDDT ≥ 0.7 且 pTM ≥ 0.7);另用 200M 逆折叠模型给每个结构生成合成序列(ESMAtlas / AFDB 每结构 5 条,PDB 每结构 64 条),训练时 50% 概率使用合成序列。去冗余 90% 一致性,聚类 70%,每簇最多 20 样本,验证集在 70% 一致性上做污染检查 [12]。

ProGen3。 稀疏 MoE,112M–46B 参数,最大模型 1.5T token,仅用公司 800 亿序列库中精选的 3.4B 子集训练(公司口径);报告更大模型对实验室数据对齐响应更强 [13]。

ProteinMPNN / RFdiffusion / Chroma / EvoDiff。 均以 PDB 或 UniRef50 为主,无私有数据;设计类模型的"真值"主要出现在下游湿实验验证(RFdiffusion2 酶设计、Chroma 的 310 个蛋白表达验证),而非训练集。

基因组

Evo 2。 OpenGenome2 共 8.84 万亿 nt:原核 113,379 基因组约 3,570 亿 nt,真核 15,032 基因组约 6.98 万亿 nt(约 79%),宏基因组约 8,540 亿 nt,细胞器 3.2 万基因组。40B 模型 1,024 上下文 6.6T token、8,192 上下文 1.1T token,中期训练扩到 1M,约 6,000 亿 token;重复序列位点损失权重 0.1;真核病毒序列因生物安全被排除 [18]。9.3 万亿是 40B 的训练 token 数,不是数据集大小。

Nucleotide Transformer。 相对专用方法在 18 个任务中 11 个持平或更优,微调后达 15 个(二手)。

AlphaGenome。 基因组类模型"真值即预训练数据",不存在蒸馏稀释,但最终模型是全折教师集成蒸馏出的单一学生。权重需接受非商用条款(二手)。GENA-LM 未查到可核来源。

单细胞与虚拟细胞

scGPT / Geneformer / scFoundation / TranscriptFormer 全部以公共 scRNA-seq 为训练集,规模从 3,000 万到 1.1 亿细胞,无私有真值。scFoundation 的作者为清华张学工组与百图生科,不属华大。

Arc State。 扰动大头是 Tahoe-100M(1,138 条件 / 380 种药物 / 50 癌系),另有 Parse-PBMC(约 1,000 万细胞、90 种细胞因子、12 供体)与 Replogle-Nadig(2,024 个扰动、4 个细胞系)。State 自己不生产湿实验,是"外部真值厂商供数据"的典型 [25]。

Tahoe-x1。 数据生产商转做模型:自产真值(Tahoe-100M)与公共数据(scBaseCount、CELLxGENE)混合训练;3–30 倍算力效率为公司口径。

小分子

Uni-Mol 用 2.09 亿分子 3D 构象与 300 万候选蛋白口袋;MoLFormer 用约 11 亿 SMILES(PubChem + ZINC),仅确认 arXiv 预印本;两者均为纯公共库。Uni-Fold 的训练数据未查到。Boltz-2 的亲和力配方见"结构类"。

前沿实验室管线

Anthropic binder 管线。 1,320 个设计、354 个 binder,总体 26.8%;多靶点(单会话 48 小时)Mythos Preview 26.7%、单靶点(24 小时会话)Mythos Preview 35.1%,二者是技术报告的分组口径,不是总体命中率。RBX1:90 个设计中 28 个结合,最佳 KD 3.9 nM,对比竞赛获胜者 45 nM。验证由 Adaptyv 与 Twist 完成,数据集在 Hugging Face,CC-BY-4.0 [32]。Claude 不是训练数据配方的对象,其"配方"是"检索公共库 → 调开源设计 / 共折叠工具 → 排序 → CRO 真值"的工具链而非权重。验证花费未披露。

AlphaProteo。 7/8 靶点成功,VEGF-A 为首个 AI 成功的靶点;训练数据含超过 1 亿个 AlphaFold 预测结构 [31]。

IsoDDE。 2026-02 技术报告,训练数据未披露,"超越 AF3"为公司口径。

GPT-4b micro。 由 GPT-4o 缩小版起步,训练于蛋白序列、生物文本与 tokenized 3D 结构;湿筛由 Retro 完成(二手)。

自建实验室路线。 Lila Sciences 与 Periodic Labs 明确以自建自治实验室产生"互联网上没有的"私有数据为护城河(公司口径);Periodic 的数据含未发表的负结果(见 阴性数据)。Lila 报道中的融资谈判(投前约 $85 亿)为媒体报道谈判中 ⚠️,未见关闭确认。

中国团队

模型 / 公司 数据配方 备注 来源
Uni-Mol(深势科技 DP Technology) 2.09 亿构象 + 300 万口袋 Uni-Fold 训练数据未查到 [28]
晶泰控股 XtalPi 公司称部署 300+ 机器人实验工作站,每周编排数万次合成实验 数据多为内部迭代使用(公司口径) [36]
BioMap(百图生科) / xTrimo / xTrimoPGLM xTrimoPGLM 约 9.4 亿序列、>1T token、100B 参数,训练 96 节点 DGX-A100,约 5 个半月 scFoundation 与之同系 [24][30]

厂商与渠道

模型训练数据的供应方按类型分为四类。

名称 国家 类型 规模口径 客户 / 对应模型 融资 来源
wwPDB / Protein Data Bank (wwPDB) GLOBAL 公共库 实验结构约 24–25 万条 AF2/3、Boltz、Chai、ESM3、RFAA 公共资助 [3][6]
UniProt / MGnify / JGI EU / US 公共库 序列库 ESM、AF、ProGen3 公共资助 [12]
ChEMBL / BindingDB / PubChem UK / US 公共库 亲和力测定约 120 万结合物(Boltz-2 口径) Boltz-2 公共资助 [6]
CZ CELLxGENE Discover / Census US 公共库 单细胞图谱 scGPT、TranscriptFormer、Tahoe-x1 非营利 [22][26][27]
Tahoe Therapeutics US 真值生产商 Tahoe-100M:约 1 亿细胞、50 癌系,药物数各源不一致 ⚠️,CC0(与 State 论文的 380 种药物口径不一致 ⚠️) State、Tahoe-x1 融资 $3,000 万专做数据生产(公司新闻稿) [25][27][35]
Parse Biosciences US 真值生产商 Parse-PBMC 约 1,000 万细胞、90 种细胞因子 State — [25]
Adaptyv Bio CH 验证 CRO 官网现行起价 $149 / 蛋白,含 2 次重复,标准周期 3 周 Anthropic 管线;公开客户含 Chai、Boltz A 轮 $40M(Highland Europe 领投),累计约 $4,800 万 [32]
Twist Bioscience US 验证 CRO / 合成 — Anthropic 管线;ProGen3 合作 — [32]
Recursion US 算力 / 评测 BioHive-2;8 个内部盲测 assay Boltz-2 — [7]
Apheris AISB DE 联邦数据 5 家药企,数千个结构 OpenFold3 微调 — [5]

应用方式

真值在配方中的位置由 真值少但权重高的配方结构 概括:蒸馏放大条目数,真值占少数条目却拿高权重,评测用时间切分的新数据。 具体到各阶段:

  • 预训练:几乎全是层 1 公共库与层 4 蒸馏数据,真值条目占比极小。例:AF2 蒸馏 75% 采样;OpenFold3 蒸馏约 50 倍于 PDB。
  • 结构监督:PDB 实验结构条目少、采样权重高。AF2 中 PDB 条目远少于蒸馏集,却占约 25% 采样。
  • 亲和力 / 功能:条目数百万的公共测定,需要置信度过滤(Boltz-2 的 ipTM > 0.75)。
  • 后训练 / 对齐:真值权重最高、条目最少——ProGen3 的实验室数据对齐、OpenFold3 的联邦微调(数千个结构)。
  • 评测与验证:真值进入模型的主要关口。Anthropic 管线的 1,320 个设计由 CRO 验证;Boltz-2 的 8 个 Recursion 内部 assay 只作评测。
  • 作为 reward:前沿实验室把"配方"从静态数据集变为闭环(检索 → 设计 → 排序 → 湿实验),参见 DMTA 循环。

蒸馏趋势:2021 AF2 蛋白单体自蒸馏 → 2022–2023 ESMFold 用 AF2 预测 → 2024 ESM3 预测结构 + 逆折叠序列"双层合成" → 2024 AF3 交叉蒸馏、不再主导 → 2025 Boltz-2 把蒸馏扩到 RNA、蛋白-DNA、配体、TCR-pMHC 等稀缺模态。代价是学到上一代模型的偏差,评测必须在蒸馏截止日期之后的新结构上做。与机器人专栏对比:机器人有公开的数据采购清单,生物模型没有。

规模、成本与价格

项 数值 来源
AF3 单批样本 256 样本 / 步;初训 256×48 = 12,288 扩散样本 [3]
Evo 2 40B 9.3T token;OpenGenome2 8.84T nt [18]
ESM3-98B 1.07e24 FLOPs,771B 唯一 token [12]
ProGen3 最大 46B 参数(MoE)、1.5T token [13]
xTrimoPGLM 96 节点 DGX-A100,约 5 个半月(2023-01-18 至 06-30) [30]
Tahoe-100M 约 1 亿细胞;融资 $3,000 万专做数据生产(公司新闻稿) [35]
Adaptyv binder 验证 官网现行起价 149/蛋白,含2次重复,标准周期3周;99–169 为 2025 年早期报道价 ⚠️ [32]
真值 / 蒸馏条目比 AF2 采样 25 : 75;Boltz-2 AFDB 蒸馏约 500 万 vs PDB 约 20 余万;OpenFold3 蒸馏约 1,300 万 vs PDB 24.5 万(约 50:1) [4][6]
现金采购生物训练数据的公开先例 Recursion ← Tempus(2026-09 改为 3 年 4, 200万);Tempus → AstraZeneca/Pathos(2 亿数据授权 + 模型) 见 Tempus AI、数据所有权条款
湿实验真值 vs 蒸馏单价 公开材料未给出可靠单位成本 —

局限与争议

  1. 数据截止与泄漏。 AF3 截止 2021-09-30;二手转述称其在更新结构上性能下降,但定量数字未核到一手来源,不引用 ⚠️。Boltz-2 切在 2023-06-01;ESM3 取 2020-05-01 前并用 70% 一致性做污染检查。训练截止日不同,不能直接在同一测试集上比较,参见 数据泄漏(训练-测试泄漏)、PoseBusters。
  2. 蒸馏循环偏差。 Boltz-2 用 Boltz-1 预测训练,OpenFold3 用 MGnify 预测;AF3 条款禁止用其输出训练同类模型,说明模型输出回流训练已被视为知识产权问题。蒸馏上限等于教师。
  3. 商业许可三档。
    • 宽松开源:Boltz-1/2 MIT、Chai-1 Apache 2.0(含商用)、OpenFold3 Apache 2.0、Tahoe-x1 Apache 2.0。
    • 非商用:AF3 权重仅限非营利机构,禁止用输出训练类似结构预测模型(二手:条款镜像,以官方现行版为准)[37];AlphaGenome 权重需接受非商用条款;ESM3-open(1.4B)学术非商用,大模型走 API,2025-11 并入 Biohub 后现行许可变更未查到。
    • 不开放:Chai-2、IsoDDE、AlphaProteo(仅分阶段共享)。AF3 商用路径未能确认。
  4. "无一家公开买商业数据"的含义。 查到的开源 / 学术模型无一公开购买第三方商业训练数据。这既意味着公共库和模型自产数据已是主流配方,也意味着商业真值买卖主要发生在药企之间或"数据 + 模型"打包授权中;药企私有数据靠联邦(OpenFold3)而非出售。这不证明没有未披露的交易,只说明公开材料无法核对。
  5. 虚拟细胞未稳定超越朴素基线。 二手转述称独立基准中多个基础模型连调好的线性基线都没打过,Arc 自称显著更好,两者口径冲突,未回源。该争议关联配方:1 亿级扰动数据量是否足以学到非平凡规律。
  6. 自评与公司口径。 Chai-2 约 16%、IsoDDE 超 AF3 两倍、Tahoe-x1 3–30 倍效率、Boltz-2 近 FEP 均为公司口径,无独立复现。Anthropic binder:评论称无人类对照组、无结构验证(二手,未回源 ⚠️);"14/15 靶点"是靶点层面至少一个结合物,不等于 93% 的设计成功(评论者指出,二手)。

口径冲突与未核实

说法 A 说法 B 采信 原因
OpenGenome2 = 9.3 万亿碱基 OpenGenome2 = 8.84 万亿 nt 8.84 万亿 nt 9.3 万亿是 Evo 2 40B 的训练 token 数
AF2 "自蒸馏占训练集 25%" AF2 最终训练约 75% 样本取自自蒸馏、约 25% 来自 PDB 后者 方向相反;数据来自 NVIDIA 模型卡转述(二手),建议回源补充材料
Boltz-2 亲和力用 PDBbind / 商业数据 ChEMBL v34 + BindingDB + PubChem 约 120 万结合物 后者 一手论文;PDBbind 仅在 MISATO 处理中用于配体匹配
Anthropic 1,440 设计 1,320 设计 / 354 binder = 26.8% 1,320 / 354 总体口径;26.7% 与 35.1% 为多靶点 / 单靶点分组
scFoundation 属华大 清华张学工组 + 百图生科 后者 作者归属
ProGen3 "46 billion tokens" 46B 参数、1.5T token 后者 一手摘要
Geneformer V2 1.04 亿 1.03 亿 HF 官方卡 1.04 亿 数字分歧已标注
TranscriptFormer 1.12 亿 1.1 亿 1.12 亿 模型卡口径
AF3 配体姿态 74.5% → 55.8% 论文与可查来源均未核到 不引用 ⚠️ 仅见二手转述
OpenAI 基金会 $4,000 万付 UNC 造数据 无佐证 不引用 未核实

来源

访问日期均为 2026-10-15。

  1. AF2 训练数据复现说明(NVIDIA): https://docs.api.nvidia.com/nim/re/reference/deepmind-alphafold2
  2. Princeton COS598L AF2 讲义: https://www.cs.princeton.edu/courses/archive/spring26/cos598L/lectures/2026_02_10_lec3_af2.pdf
  3. AF3 Nature(PMC 版): https://pmc.ncbi.nlm.nih.gov/articles/PMC11168924/
  4. OpenFold3 / AWS Marketplace 列表: https://aws.amazon.com/marketplace/pp/prodview-uwovysumhdw7g
  5. Apheris AISB 网络: https://www.apheris.com/networks/aisb ;R&D World: https://www.rdworldonline.com/openfold3-debuts-as-apache-licensed-protein-co-folding-model-with-apheris-bringing-it-into-pharma-it/
  6. Boltz-2 bioRxiv: https://www.biorxiv.org/content/10.1101/2025.06.14.659707v1.full
  7. MIT CSAIL / Recursion: https://www.csail.mit.edu/news/mit-releases-breakthrough-protein-binding-affinity-model-expanding-role-ai-drug-discovery ;Boltz PBC: https://www.biopharmatrend.com/news/boltz-pbc-launches-with-28m-seed-round-pfizer-collaboration-and-three-guarantees-1455/
  8. Chai-lab GitHub: https://github.com/chaidiscovery/chai-lab
  9. Chai-2 技术报告: https://www.biorxiv.org/content/10.1101/2025.07.05.663018.full.pdf
  10. RFAA Dryad: https://datadryad.org/dataset/doi:10.5061/dryad.mcvdnck6v
  11. NVIDIA BioNeMo UniProt 数据集: https://docs.nvidia.com/bionemo-framework/2.1/datasets/uniprot/
  12. ESM3 bioRxiv: https://www.biorxiv.org/content/10.1101/2024.07.01.600583v1.full
  13. ProGen3: https://www.biorxiv.org/content/10.1101/2025.04.15.649055.full.pdf
  14. ProteinMPNN 训练集镜像: https://huggingface.co/smares/proteinMPNN_noMHC
  15. RFdiffusion2: https://www.ipd.uw.edu/2025/04/introducing-rfdiffusion2
  16. Chroma Nature: https://doi.org/10.1038/s41586-023-06728-8
  17. EvoDiff: https://pypi.org/project/evodiff/
  18. Evo 2 bioRxiv: https://www.biorxiv.org/content/10.1101/2025.02.18.638918v1.full
  19. Nucleotide Transformer: https://instadeep.com/research/paper/nucleotide-transformer-building-and-evaluating-robust-foundation-models-for-human-genomics/
  20. AlphaGenome HF: https://huggingface.co/google/alphagenome-all-folds
  21. AlphaGenome bioRxiv: https://www.biorxiv.org/content/10.1101/2025.06.25.661532v1.full
  22. scGPT: https://omicverse.readthedocs.io/en/latest/Tutorials-llm/t_scgpt.html
  23. Genecorpus-30M: https://huggingface.co/datasets/ctheodoris/Genecorpus-30M
  24. scFoundation GitHub: https://github.com/biomap-research/scFoundation
  25. STATE bioRxiv: https://www.biorxiv.org/content/10.1101/2025.06.26.661135v1.full
  26. TranscriptFormer: https://helical.readthedocs.io/en/latest/model_cards/transcriptformer/
  27. Tahoe-x1: https://huggingface.co/tahoebio/Tahoe-x1
  28. Uni-Mol: https://git.tdem.in/dptech-corp/Uni-Mol
  29. MoLFormer: https://www.alphaxiv.org/abs/2106.09553
  30. xTrimoPGLM: https://arxiv.org/abs/2401.06199v1
  31. AlphaProteo: https://deepmind.google/blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/
  32. Anthropic binder 报告(HyperAI 摘要、eWeek、HF 数据集): https://hyper.ai/de/papers/claude_protein_binder_design ;https://huggingface.co/datasets/Anthropic/claude-protein-binder-design
  33. IsoDDE: https://isomorphiclabs.com/articles/the-isomorphic-labs-drug-design-engine-unlocks-a-new-frontier
  34. OpenAI × Retro: https://openai.com/index/accelerating-life-sciences-research-with-retro-biosciences
  35. Arc Virtual Cell Atlas: https://arcinstitute.org/news/arc-virtual-cell-atlas-launch ;Tahoe 融资: https://www.silicon.co.uk/press-release/tahoe-therapeutics-raises-30m-to-build-worlds-largest-dataset-for-training-ai-models-of-human-cell
  36. 晶泰: https://en.xtalpi.com/xtalpis-intelligent-autonomous-lab-solution-platform-drives-multi-industry-innovation
  37. AF3 权重条款镜像: https://code.rc.uab.edu/rc-data-science/community-containers/Alphafold3/-/blob/6166cdc03cb35acb23815aab7aeb749c213c6d8a/WEIGHTS_TERMS_OF_USE.md

本章涉及的实体

BioMap(百图生科)公司与机构 · 中国
xTrimo 与 scFoundation 背后的 AI 生命科学公司
Chai Discovery公司与机构 · 美国
共折叠与 de novo 抗体设计模型公司,Chai-1 开源、Chai-2 闭源
EvolutionaryScale公司与机构 · 美国
ESM3 开发商,2025-11 并入 CZI Biohub
Isomorphic Labs公司与机构 · 英国
DeepMind 药物发现分拆公司,闭源 IsoDDE
Profluent公司与机构 · 美国
ProGen3 开发商,自建宏基因组蛋白库
真值少但权重高的配方结构概念与方法
公共库打底、蒸馏放大、少量真值高权重收尾
AlphaFold2论文与基准 · 英国
75% 自蒸馏加 25% PDB 的结构预测奠基模型
AlphaFold3论文与基准 · 英国
PDB 截止 2021-09-30,权重限非营利,输出禁训同类模型
AlphaGenome论文与基准 · 英国
功能基因组轨道预测,1 Mb 输入,蒸馏学生模型
AlphaProteo论文与基准 · 英国
PDB 加逾 1 亿 AF 预测,7/8 靶点成功,仅分阶段共享
Arc State论文与基准 · 美国
1 亿多扰动细胞训练,数据由 Tahoe、Parse 等外部生产
Boltz-2论文与基准 · 美国
亲和力全用公共库,MD 加二级蒸馏,MIT 许可
Chai-1论文与基准 · 美国
Apache 2.0 含商用的共折叠模型,训练数据明细未取到 ⚠️ ⚠️
Chai-2论文与基准 · 美国
闭源 de novo 抗体设计,52 靶约 16% 命中
ESM-2 / ESMFold论文与基准 · 美国
UniRef50 约 6,500 万簇训练的蛋白语言模型,ESMFold 用 AF2 蒸馏
ESM3论文与基准 · 美国
序列、结构、功能多模态,双层合成:预测结构加逆折叠序列
ESMFold2论文与基准 · 美国
Biohub 开源的结构预测与设计模型,含快速版 ESMFold2-Fast
Evo 2论文与基准 · 美国
OpenGenome2 8.84 万亿 nt 训练的基因组语言模型
GPT-4b micro论文与基准 · 美国
OpenAI 与 Retro 的蛋白工程模型,Yamanaka 因子变体湿筛
Geneformer论文与基准 · 美国
Genecorpus-30M 到 104M 的单细胞基础模型
Isomorphic IsoDDE论文与基准 · 英国
闭源药物设计引擎,训练数据未披露
MoLFormer论文与基准 · 美国
约 11 亿 SMILES 的线性注意力化学语言模型
Nucleotide Transformer论文与基准 · 英国
3,202 个人类基因组加 850 物种的 DNA 基础模型
ProGen3论文与基准 · 美国
自建 PPA-1 精选 3.4B 蛋白,最大 46B MoE、1.5T token
ProteinMPNN论文与基准 · 美国
PDB 2021-08 快照、30% 聚类约 2.8 万簇的逆折叠序列设计
RFdiffusion / RFdiffusion2论文与基准 · 美国
RoseTTAFold 微调的扩散设计,RF2 酶设计 41 题全解
RoseTTAFold All-Atom论文与基准 · 美国
PDB 全装配体加约 10 倍 AF2 预测,Science 2024
Tahoe-x1论文与基准 · 美国
自产扰动真值加公共数据混训的 3B 细胞状态模型
TranscriptFormer论文与基准 · 美国
1.12 亿细胞、12 物种的自回归单细胞生成模型
Uni-Mol论文与基准 · 中国
2.09 亿分子 3D 构象加 300 万蛋白口袋
ether0论文与基准 · 美国
FutureHouse 的 24B 化学推理模型,用 GRPO 强化学习训练
scFoundation论文与基准 · 中国
清华加百图生科的 5,000 万细胞单细胞基础模型
scGPT论文与基准 · 全球
3,300 万正常人类细胞预训练,数据主要来自 CELLxGENE
xTrimo / xTrimoPGLM论文与基准 · 中国
100B 参数蛋白语言模型,约 9.4 亿序列,百图生科

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。