模型训练数据配方
一句话结论
- 配方的共同骨架是"公共库打底 + 模型自产数据放大 + 极少量真值收尾":AlphaFold2 训练时约 75% 样本取自自蒸馏的 355,993 条 Uniclust30 序列预测、约 25% 取自 PDB(二手转述)[1][2]。
- 蒸馏已进入"多轮套娃":Boltz-2 蒸馏集含约 500 万 AFDB 单体,外加上一代 Boltz-1 预测的 RNA / 蛋白-DNA / 配体 / TCR-pMHC 复合物;OpenFold / OpenFold3 的 OpenFold3 preview 含约 1,300 万 MGnify 长单体蒸馏,约为 PDB(约 24.5 万结构)的 50 倍(二手)[4][6]。
- 真值(湿实验)在预训练里条目占比极小,权重却高;公开可查的模型里,亲和力数据全部来自公共库——Boltz-2 用 ChEMBL v34 + BindingDB + PubChem(约 120 万结合物),无 PDBbind、无商业数据,Recursion 内部 assay 只用于评测 [6]。
- 数据截止日各异,泄漏是评测核心问题:AlphaFold3 训练 PDB 截止 2021-09-30,Boltz-2 为 2023-06-01,ESM3 仅取 2020-05-01 前的 X 射线结构 [3][6][12]。
- 查到的开源/学术模型无一公开购买商业训练数据;药企私有真值走联邦微调(OpenFold3 × Apheris,5 家药企、数千个蛋白-小分子结构),Tahoe / Parse 的扰动数据则以公开数据集形式供模型使用 [5][25]。
配方怎么读
各模型训练数据构成:公共库 · 蒸馏合成 · 私有真值(份额)
按各模型论文或模型卡披露的条目数或采样比例折成份额;单位各不相同(序列数、细胞数、采样权重),只用于看结构,不可跨模型比绝对量。Tahoe-x1 公共部分未核,未画。
数据表
| 模型 | 发布 | 公共 | 蒸馏/合成 | 私有真值 | 口径 |
|---|---|---|---|---|---|
| AlphaFold 2 | 2021 | 25% | 75% | 0% | 采样比例(%):聚类 PDB 25 / 自蒸馏 355,993 条序列 75;NVIDIA 模型卡转述(二手)[40] |
| Boltz-2 亲和力 | 2025-06 | 50% | 50% | 0% | 条目数:ChEMBL+BindingDB 优化集约 120 万结合物;另 120 万合成诱饵;全部公共来源 [9] |
| ESM3 | 2024 | 88% | 12% | 0% | 序列条目数:自然 2.78B;合成增强后 3.15B,差额 3.7 亿为推算;模型卡口径 [10] |
| scGPT | 2023 | 100% | 0% | 0% | 细胞数:CELLxGENE 来源 >3,300 万正常人细胞(二手)[43] |
| Geneformer | 2023 | 100% | 0% | 0% | 细胞数:Genecorpus-30M 约 3,000 万(后续扩展版约 1.04 亿)[43] |
来源见“模型训练数据配方”章总表。
本章把每个模型的训练数据拆成三栏,并统一用这套口径比较:
| 栏 | 定义 | 典型内容 | 对应层 |
|---|---|---|---|
| 公共库 | 任何人可下载的数据库与公开数据集 | Protein Data Bank (wwPDB)、UniProt、MGnify、ChEMBL、BindingDB、PubChem、CZ CELLxGENE Discover / Census、OpenGenome2 | 公共数据库层 |
| 蒸馏 / 合成 | 由模型或仿真产生的"伪标签":预测结构、逆折叠生成序列、MD、教师集成 | AlphaFold Protein Structure Database 预测、ESM3 逆折叠序列、Boltz-1 预测复合物、mdCATH | 仿真与合成层,详见 AlphaFold DB 与结构蒸馏 |
| 私有或商业真值 | 非公开的湿实验数据,或购买 / 联邦汇聚的数据 | 药企联邦结构、内部湿实验室、Adaptyv Bio / Twist Bioscience 等 CRO 测量 | 湿实验真值层 |
阅读规则:
- "未查到 / 未披露"表示公开材料未取得一手披露,不等于没有;表中保留原样。
- 标"(二手)"为媒体、文档镜像或社区复现转述;"公司口径"为机构自报。
- "规模"栏数字的单位随模型不同(序列、结构、细胞、核苷酸),不可跨行直接比较。
- 通用阶段模板如下。
| 阶段 | 数据 | 典型来源 | 占比逻辑 |
|---|---|---|---|
| 预训练 | 海量无标注序列 / 基因组 / 单细胞 | UniRef、MGnify、GTDB、CELLxGENE、SRA | 条目数占 99% 以上;按 UniRef50 / 70% 聚类、每簇封顶 20 条重采样降冗余 |
| 结构监督 | 实验结构 | PDB(约 24–25 万条) | 条目少,采样权重高 |
| 放大 | 蒸馏 / 合成 | AFDB、ESMAtlas、模型自生成序列、MD、DFT | 条目数可超真值 1–2 个数量级 |
| 亲和力 / 功能 | 公共测定 + 少量私有 | ChEMBL / BindingDB / PubChem;药企联邦数据 | 数百万条,噪声大,需置信度过滤 |
| 后训练 / 对齐 | 湿实验真值、偏好数据 | CRO、内部实验室 | 千到万条,权重最高 |
| 评测 | 时间切分的新结构 / 新测定 | PDB 后期释放、CASP、盲测 | 严格排除训练 |
总表
字段:模型|机构|发布|公共数据库|蒸馏 / 合成|私有或商业真值|规模|数据供应方|来源。
| 模型 | 机构 | 发布 | 公共数据库 | 蒸馏 / 合成 | 私有或商业真值 | 规模 | 数据供应方 | 来源 |
|---|---|---|---|---|---|---|---|---|
| 结构 | ||||||||
| AlphaFold2 | DeepMind | 2021-07 | PDB(<2018-04)、Uniclust30、BFD、MGnify | 自蒸馏约 35.6 万条 Uniclust30 序列的预测结构 | 无 | 采样约 75% 蒸馏 / 25% PDB(二手) | wwPDB 社区 | [1][2] |
| AlphaFold3 | Google DeepMind + Isomorphic Labs | 2024-05 | PDB(<2021-09-30)、UniRef90、MGnify、BFD、Rfam 14.9、RNAcentral 21.0、NT、JASPAR 2022 | AF-Multimer v2.3 与 AF2 预测交叉蒸馏 | 无私有披露 | 批 256 样本;最近 PDB 评测集 8,856 复合物;各集采样权重正文未给 | wwPDB | [3] |
| OpenFold / OpenFold3(OpenFold3 preview) | OpenFold Consortium | 2025-10 | PDB 约 24.5 万结构 + MSA | MGnify 长单体约 1,300 万、短单体约 40 万、AF2 无序集、Rfam RNA 预测 | 药企联邦微调:AbbVie、Astex、BMS、J&J、Takeda 数千个蛋白-小分子结构 | 蒸馏集条目约为 PDB 的 50 倍(二手) | Apheris 联邦网络 | [4][5] |
| Boltz-2(含 Boltz-1) | MIT + Recursion;Boltz PBC | 2024-11 / 2025-06 | PDB(<2023-06-01)、MISATO、ATLAS、mdCATH;亲和力:ChEMBL v34、BindingDB、PubChem 1.8.1 | AFDB 单体约 500 万;Boltz-1 预测的 RNA / DNA / 配体 / TCR-pMHC / MHC;合成诱饵 | 无;Recursion 内部 assay 仅评测 | MD 三套共约 1.78 万体系;亲和力约 120 万结合物 | 公共库;Recursion 提供算力 | [6][7] |
| Chai-1 | Chai Discovery | 2024-09 | PDB 等(细节未取到 ⚠️) | 未查到 ⚠️ | 未查到 ⚠️ | Apache 2.0,代码 + 权重,含商用 | 未查到 | [8] |
| Chai-2 | Chai Discovery | 2025-06-30 | 未披露 | 未披露 | 未披露;验证 52 靶 × ≤20 设计,约 16% 命中,约 50% 靶点得到结合物(公司口径) | 闭源 | 验证执行方未披露 | [9] |
| RoseTTAFold All-Atom | Baker 组(IPD) | 2024-03 | PDB 全生物装配体 | 约为 PDB 10 倍的 AF2 预测模型(博客转述) | 无 | 约 1:10(二手) | wwPDB | [10] |
| 蛋白语言与设计 | ||||||||
| ESM-2 / ESMFold / ESMFold | Meta FAIR | 2022–2023 | UniRef50(约 6,500 万簇) | ESMFold 用 AF2 预测蒸馏(约 1,200 万,未回源) | 无 | 训练簇 6,518 万(NVIDIA 复现口径) | UniProt | [11] |
| ESM3 | EvolutionaryScale(2025-11 并入 Chan Zuckerberg Biohub) | 2024-06 | UniRef 2023_02、MGnify90、JGI、OAS(>10 亿抗体序列)、PDB、AFDB v4、ESMAtlas | 逆折叠合成序列;预测结构;InterPro 功能标注 | 无 | 3.15B 序列、236M 结构、539M 功能标注、771B 唯一 token;98B 参数 | UniProt / EBI、JGI、OAS | [12] |
| ProGen3 | Profluent | 2025-04 | 自建 PPA-1 | 无明确 | 实验室数据对齐(规模未读到) | PPA-1:3.4B 全长蛋白、1.1T 氨基酸 token;最大 46B MoE 参数、1.5T token | Profluent 自有宏基因组库(公司称约 800 亿序列);Twist 合作 | [13] |
| ProteinMPNN | Baker 组 | 2022 | PDB 生物单元(2021-08-02 快照,30% 聚类约 2.8 万簇,二手) | 无 | 无 | 单链 19,700(二手) | wwPDB | [14] |
| RFdiffusion / RFdiffusion2(含 RFdiffusion2) | Baker 组 | 2023 / 2025-04 | PDB(细节未回源);M-CSA 用于基准 | RFdiffusion2 训练用随机原子坐标 motif | 无训练用私有数据(酶设计湿实验仅作验证) | 41 个基准问题全解,前代 16(二手) | wwPDB、M-CSA | [15] |
| Chroma(Generate Biomedicines) | Generate Biomedicines | 2023-11 | PDB(细节未回源) | 无 | 310 个蛋白表达验证 | 权重学术 / 非营利免费 | 未查到 | [16] |
| EvoDiff | Microsoft Research | 2023 | UniRef50(约 4,200 万序列);OpenFold 数据集(40.1 万 MSA) | 无 | 无 | 序列模型 4,200 万 | UniProt、OpenFold | [17] |
| 基因组 | ||||||||
| Evo 2 | Arc Institute + NVIDIA 等 | 2025-02 | OpenGenome2:原核 113,379 基因组、真核 15,032 基因组、宏基因组、细胞器 | 无 | 无 | OpenGenome2 共 8.84 万亿 nt;40B 模型训练 9.3 万亿 token;上下文最长 1M;真核病毒被排除 | NCBI / GTDB 等 | [18] |
| Nucleotide Transformer | InstaDeep | 2023 | 3,202 个人类基因组(1000 Genomes)、850 个物种基因组 | 无 | 无 | 50M–2.5B 参数 | 1000 Genomes、NCBI | [19] |
| GENA-LM | AIRI 等 | 2023 | 人类 T2T 基因组(未回源) | 无 | 无 | 未查到 | 未查到 | 未查到 |
| AlphaGenome | Google DeepMind | 2025-06 | ENCODE、GTEx(发布的训练集因许可剔除 GTEx 数据)、4D Nucleome、FANTOM5 | 全折教师集成蒸馏出单一学生 | 无(功能基因组测定本身即训练真值) | 人 5,930 轨 / 小鼠 1,128 轨,11 模态,输入 1 Mb;4 折交叉验证 | 公共功能基因组联盟 | [20][21] |
| 单细胞 / 虚拟细胞 | ||||||||
| scGPT | 多伦多大学 / Vector | 2023 / 2024-02 | CZ CELLxGENE Discover / Census 为主 | 无 | 无 | 3,300 万正常人类细胞,51 器官 / 441 项研究(二手) | CZ CELLxGENE | [22] |
| Geneformer | Broad 等 | 2023 / V2 2024-12 | Genecorpus-30M(29,900,531 细胞、561 数据集);V2 Genecorpus-104M | 无 | 无 | V2 约 1.04 亿非癌 + 约 1,400 万癌症细胞续训;排除恶性与永生化细胞系 | 公共 scRNA-seq | [23] |
| scFoundation | 清华 + 百图生科 | 2024-06 | 公共 scRNA-seq | 无 | 无 | >5,000 万人类细胞,1 亿参数,约 2 万基因 | 公共库 | [24] |
| Arc State | Arc Institute | 2025-06 | State Embedding:1.67 亿观测细胞;State Transition:Tahoe-100M、Parse-PBMC、Replogle-Nadig | 无 | 扰动数据由外部生产(见供应方) | ST 训练 >1 亿扰动细胞、70+ 细胞背景;评测 2,102 种扰动 / 5 数据集 / 40 背景 | Tahoe Therapeutics、Parse Biosciences、Replogle / Nadig 实验室 | [25] |
| TranscriptFormer | CZI / Biohub | 2025-04 | CELLxGENE 等 | 无 | 无 | TF-Metazoa 1.12 亿细胞 / 12 物种;TF-Exemplar 1.1 亿;TF-Sapiens 5,700 万 | 公共库 | [26] |
| Tahoe-x1 | Tahoe Therapeutics | 2025-10 | Arc scBaseCount、CELLxGENE | 无 | Tahoe-100M(自产药物扰动真值,CC0 公开) | 约 2.66 亿细胞;70M / 1.3B / 3B 参数;Apache 2.0 | Tahoe 自产 + 公共 | [27] |
| 小分子 | ||||||||
| Uni-Mol | 深势科技 DP Technology | 2022–2023 | 公共小分子库与 PDB 口袋 | 3D 构象由工具生成 | 无 | 2.09 亿分子构象 + 300 万蛋白口袋 | 公共库 | [28] |
| MoLFormer | IBM | 2021–2022 | PubChem(约 1.11 亿)、ZINC(>10 亿) | 无 | 无 | 约 11 亿 SMILES | PubChem、ZINC | [29] |
| xTrimo / xTrimoPGLM(xTrimoPGLM) | 百图生科 + 清华 + MBZUAI | 2023 / 2025 | 蛋白序列库 | 无 | 无 | 约 9.4 亿唯一序列、>1 万亿 token、100B 参数 | 公共库 | [30] |
| 前沿实验室管线 | ||||||||
| AlphaProteo | Google DeepMind | 2024-09 | PDB + 超过 1 亿个 AlphaFold 预测结构 | AlphaFold 预测结构作训练 | DeepMind 内部湿实验室;Francis Crick Institute 验证 | 7/8 靶点成功(BHRF1 88–90%,TNFα 失败) | wwPDB + AFDB | [31] |
| Anthropic 蛋白 binder 实验 | Anthropic | 2026-08 | 开源设计与共折叠工具(Protenix v2、ESMFold2 等) | 不适用(使用者而非训练者) | Adaptyv Bio 与 Twist Bioscience 的 SPR / BLI 测量 | 1,320 设计 / 354 binder = 26.8% | Adaptyv、Twist | [32] |
| Isomorphic IsoDDE | Isomorphic Labs | 2026-02 | 未披露 | 未披露 | 未披露 | 技术报告称蛋白-配体泛化基准准确率超 AF3 两倍(公司口径) | 内部 | [33] |
| GPT-4b micro | OpenAI + Retro Biosciences | 2025-01 | 蛋白序列、生物文本、tokenized 3D 结构(媒体转述) | 无 | Retro 在人成纤维细胞做湿筛 | >30% 建议序列超过野生型 SOX2(传统筛选 <10%,二手) | Retro | [34] |
分组解读
结构类
AlphaFold2。 PDB 截止约 2018-04,自蒸馏集 355,993 条序列,训练时约 75% / 25% 采样,是后来所有"蒸馏放大"的原型。NVIDIA 文档的 355,993 与社区复现集的约 27 万不一致,复现集并非原训练集(二手)。
AlphaFold3。 一手论文:训练结构不晚于 2021-09-30,PoseBusters 专用模型用 2019-09-30;训练 PDB 快照下载于 2023-01-12;最近 PDB 评测集 8,856 个复合物(2022-05-01 至 2023-01-12 释放),PoseBusters 基准 428 个 2021 年及之后的蛋白-配体结构 [3]。蒸馏目的是抑制无序区幻觉,不再像 AF2 那样主导训练。论文方法部分没有披露是否使用 Isomorphic 内部专有数据,此项未查到。
OpenFold3。 Apache 2.0。联邦微调由 5 家药企各自贡献数千个蛋白-小分子实验结构,不到 10 周完成,产物 AISB-1-Fed,据 Apheris 称优于任何单一伙伴数据微调的模型(公司口径)[5]。这是开源模型里"汇聚私有真值"的首个路径,数据不出各药企边界。
Boltz-1/2。 亲和力连续值来自 ChEMBL v34(置信度 9、单蛋白靶点)、BindingDB、PubChem;二元标签来自 PubChem HTS、CeMM 片段集、MIDAS 代谢物,并配合成诱饵;只保留平均预测 ipTM > 0.75 的 assay,即用结构模型自己过滤数据;未披露任何商业购买或药企私有训练数据 [6]。Boltz-2 与 FEP 的"Pearson 0.62、快 1,000 倍"来自 Boltz-2 与 Recursion 的新闻稿,属公司口径。许可 MIT。
Chai-1 / Chai-2。 Chai-1 代码与权重 Apache 2.0,含商用;训练数据明细未取到 ⚠️。Chai-2 训练数据与湿实验伙伴均未披露:Adaptyv 公开客户包含 Chai,但 Chai-2 报告未写验证由谁执行,不可断言。
RoseTTAFold All-Atom。 训练为 PDB 全生物装配体,另加约 10 倍的 AF2 预测模型(博客转述);PDB 截止与 CSD 的使用未查到。
蛋白语言与设计
ESM-2 / ESMFold。 每步在 UniRef50 簇内均匀抽样再取一条 UniRef90 序列(NVIDIA 复现口径 65,182,365 个训练簇、187,382,018 条 UniRef90 序列,二手)。ESMFold 的结构监督含 AF2 蒸馏。
ESM3。 结构监督来自 PDB(<2020-05-01、X 射线、分辨率优于 9 Å)、AFDB v4(pLDDT ≥ 0.7)、ESMAtlas(pLDDT ≥ 0.7 且 pTM ≥ 0.7);另用 200M 逆折叠模型给每个结构生成合成序列(ESMAtlas / AFDB 每结构 5 条,PDB 每结构 64 条),训练时 50% 概率使用合成序列。去冗余 90% 一致性,聚类 70%,每簇最多 20 样本,验证集在 70% 一致性上做污染检查 [12]。
ProGen3。 稀疏 MoE,112M–46B 参数,最大模型 1.5T token,仅用公司 800 亿序列库中精选的 3.4B 子集训练(公司口径);报告更大模型对实验室数据对齐响应更强 [13]。
ProteinMPNN / RFdiffusion / Chroma / EvoDiff。 均以 PDB 或 UniRef50 为主,无私有数据;设计类模型的"真值"主要出现在下游湿实验验证(RFdiffusion2 酶设计、Chroma 的 310 个蛋白表达验证),而非训练集。
基因组
Evo 2。 OpenGenome2 共 8.84 万亿 nt:原核 113,379 基因组约 3,570 亿 nt,真核 15,032 基因组约 6.98 万亿 nt(约 79%),宏基因组约 8,540 亿 nt,细胞器 3.2 万基因组。40B 模型 1,024 上下文 6.6T token、8,192 上下文 1.1T token,中期训练扩到 1M,约 6,000 亿 token;重复序列位点损失权重 0.1;真核病毒序列因生物安全被排除 [18]。9.3 万亿是 40B 的训练 token 数,不是数据集大小。
Nucleotide Transformer。 相对专用方法在 18 个任务中 11 个持平或更优,微调后达 15 个(二手)。
AlphaGenome。 基因组类模型"真值即预训练数据",不存在蒸馏稀释,但最终模型是全折教师集成蒸馏出的单一学生。权重需接受非商用条款(二手)。GENA-LM 未查到可核来源。
单细胞与虚拟细胞
scGPT / Geneformer / scFoundation / TranscriptFormer 全部以公共 scRNA-seq 为训练集,规模从 3,000 万到 1.1 亿细胞,无私有真值。scFoundation 的作者为清华张学工组与百图生科,不属华大。
Arc State。 扰动大头是 Tahoe-100M(1,138 条件 / 380 种药物 / 50 癌系),另有 Parse-PBMC(约 1,000 万细胞、90 种细胞因子、12 供体)与 Replogle-Nadig(2,024 个扰动、4 个细胞系)。State 自己不生产湿实验,是"外部真值厂商供数据"的典型 [25]。
Tahoe-x1。 数据生产商转做模型:自产真值(Tahoe-100M)与公共数据(scBaseCount、CELLxGENE)混合训练;3–30 倍算力效率为公司口径。
小分子
Uni-Mol 用 2.09 亿分子 3D 构象与 300 万候选蛋白口袋;MoLFormer 用约 11 亿 SMILES(PubChem + ZINC),仅确认 arXiv 预印本;两者均为纯公共库。Uni-Fold 的训练数据未查到。Boltz-2 的亲和力配方见"结构类"。
前沿实验室管线
Anthropic binder 管线。 1,320 个设计、354 个 binder,总体 26.8%;多靶点(单会话 48 小时)Mythos Preview 26.7%、单靶点(24 小时会话)Mythos Preview 35.1%,二者是技术报告的分组口径,不是总体命中率。RBX1:90 个设计中 28 个结合,最佳 KD 3.9 nM,对比竞赛获胜者 45 nM。验证由 Adaptyv 与 Twist 完成,数据集在 Hugging Face,CC-BY-4.0 [32]。Claude 不是训练数据配方的对象,其"配方"是"检索公共库 → 调开源设计 / 共折叠工具 → 排序 → CRO 真值"的工具链而非权重。验证花费未披露。
AlphaProteo。 7/8 靶点成功,VEGF-A 为首个 AI 成功的靶点;训练数据含超过 1 亿个 AlphaFold 预测结构 [31]。
IsoDDE。 2026-02 技术报告,训练数据未披露,"超越 AF3"为公司口径。
GPT-4b micro。 由 GPT-4o 缩小版起步,训练于蛋白序列、生物文本与 tokenized 3D 结构;湿筛由 Retro 完成(二手)。
自建实验室路线。 Lila Sciences 与 Periodic Labs 明确以自建自治实验室产生"互联网上没有的"私有数据为护城河(公司口径);Periodic 的数据含未发表的负结果(见 阴性数据)。Lila 报道中的融资谈判(投前约 $85 亿)为媒体报道谈判中 ⚠️,未见关闭确认。
中国团队
| 模型 / 公司 | 数据配方 | 备注 | 来源 |
|---|---|---|---|
| Uni-Mol(深势科技 DP Technology) | 2.09 亿构象 + 300 万口袋 | Uni-Fold 训练数据未查到 | [28] |
| 晶泰控股 XtalPi | 公司称部署 300+ 机器人实验工作站,每周编排数万次合成实验 | 数据多为内部迭代使用(公司口径) | [36] |
| BioMap(百图生科) / xTrimo / xTrimoPGLM | xTrimoPGLM 约 9.4 亿序列、>1T token、100B 参数,训练 96 节点 DGX-A100,约 5 个半月 | scFoundation 与之同系 | [24][30] |
厂商与渠道
模型训练数据的供应方按类型分为四类。
| 名称 | 国家 | 类型 | 规模口径 | 客户 / 对应模型 | 融资 | 来源 |
|---|---|---|---|---|---|---|
| wwPDB / Protein Data Bank (wwPDB) | GLOBAL | 公共库 | 实验结构约 24–25 万条 | AF2/3、Boltz、Chai、ESM3、RFAA | 公共资助 | [3][6] |
| UniProt / MGnify / JGI | EU / US | 公共库 | 序列库 | ESM、AF、ProGen3 | 公共资助 | [12] |
| ChEMBL / BindingDB / PubChem | UK / US | 公共库 | 亲和力测定约 120 万结合物(Boltz-2 口径) | Boltz-2 | 公共资助 | [6] |
| CZ CELLxGENE Discover / Census | US | 公共库 | 单细胞图谱 | scGPT、TranscriptFormer、Tahoe-x1 | 非营利 | [22][26][27] |
| Tahoe Therapeutics | US | 真值生产商 | Tahoe-100M:约 1 亿细胞、50 癌系,药物数各源不一致 ⚠️,CC0(与 State 论文的 380 种药物口径不一致 ⚠️) | State、Tahoe-x1 | 融资 $3,000 万专做数据生产(公司新闻稿) | [25][27][35] |
| Parse Biosciences | US | 真值生产商 | Parse-PBMC 约 1,000 万细胞、90 种细胞因子 | State | — | [25] |
| Adaptyv Bio | CH | 验证 CRO | 官网现行起价 $149 / 蛋白,含 2 次重复,标准周期 3 周 | Anthropic 管线;公开客户含 Chai、Boltz | A 轮 $40M(Highland Europe 领投),累计约 $4,800 万 | [32] |
| Twist Bioscience | US | 验证 CRO / 合成 | — | Anthropic 管线;ProGen3 合作 | — | [32] |
| Recursion | US | 算力 / 评测 | BioHive-2;8 个内部盲测 assay | Boltz-2 | — | [7] |
| Apheris AISB | DE | 联邦数据 | 5 家药企,数千个结构 | OpenFold3 微调 | — | [5] |
应用方式
真值在配方中的位置由 真值少但权重高的配方结构 概括:蒸馏放大条目数,真值占少数条目却拿高权重,评测用时间切分的新数据。 具体到各阶段:
- 预训练:几乎全是层 1 公共库与层 4 蒸馏数据,真值条目占比极小。例:AF2 蒸馏 75% 采样;OpenFold3 蒸馏约 50 倍于 PDB。
- 结构监督:PDB 实验结构条目少、采样权重高。AF2 中 PDB 条目远少于蒸馏集,却占约 25% 采样。
- 亲和力 / 功能:条目数百万的公共测定,需要置信度过滤(Boltz-2 的 ipTM > 0.75)。
- 后训练 / 对齐:真值权重最高、条目最少——ProGen3 的实验室数据对齐、OpenFold3 的联邦微调(数千个结构)。
- 评测与验证:真值进入模型的主要关口。Anthropic 管线的 1,320 个设计由 CRO 验证;Boltz-2 的 8 个 Recursion 内部 assay 只作评测。
- 作为 reward:前沿实验室把"配方"从静态数据集变为闭环(检索 → 设计 → 排序 → 湿实验),参见 DMTA 循环。
蒸馏趋势:2021 AF2 蛋白单体自蒸馏 → 2022–2023 ESMFold 用 AF2 预测 → 2024 ESM3 预测结构 + 逆折叠序列"双层合成" → 2024 AF3 交叉蒸馏、不再主导 → 2025 Boltz-2 把蒸馏扩到 RNA、蛋白-DNA、配体、TCR-pMHC 等稀缺模态。代价是学到上一代模型的偏差,评测必须在蒸馏截止日期之后的新结构上做。与机器人专栏对比:机器人有公开的数据采购清单,生物模型没有。
规模、成本与价格
| 项 | 数值 | 来源 |
|---|---|---|
| AF3 单批样本 | 256 样本 / 步;初训 256×48 = 12,288 扩散样本 | [3] |
| Evo 2 40B | 9.3T token;OpenGenome2 8.84T nt | [18] |
| ESM3-98B | 1.07e24 FLOPs,771B 唯一 token | [12] |
| ProGen3 最大 | 46B 参数(MoE)、1.5T token | [13] |
| xTrimoPGLM | 96 节点 DGX-A100,约 5 个半月(2023-01-18 至 06-30) | [30] |
| Tahoe-100M | 约 1 亿细胞;融资 $3,000 万专做数据生产(公司新闻稿) | [35] |
| Adaptyv binder 验证 | 官网现行起价 149/蛋白,含2次重复,标准周期3周;99–169 为 2025 年早期报道价 ⚠️ | [32] |
| 真值 / 蒸馏条目比 | AF2 采样 25 : 75;Boltz-2 AFDB 蒸馏约 500 万 vs PDB 约 20 余万;OpenFold3 蒸馏约 1,300 万 vs PDB 24.5 万(约 50:1) | [4][6] |
| 现金采购生物训练数据的公开先例 | Recursion ← Tempus(2026-09 改为 3 年 4, 200万);Tempus → AstraZeneca/Pathos(2 亿数据授权 + 模型) | 见 Tempus AI、数据所有权条款 |
| 湿实验真值 vs 蒸馏单价 | 公开材料未给出可靠单位成本 | — |
局限与争议
- 数据截止与泄漏。 AF3 截止 2021-09-30;二手转述称其在更新结构上性能下降,但定量数字未核到一手来源,不引用 ⚠️。Boltz-2 切在 2023-06-01;ESM3 取 2020-05-01 前并用 70% 一致性做污染检查。训练截止日不同,不能直接在同一测试集上比较,参见 数据泄漏(训练-测试泄漏)、PoseBusters。
- 蒸馏循环偏差。 Boltz-2 用 Boltz-1 预测训练,OpenFold3 用 MGnify 预测;AF3 条款禁止用其输出训练同类模型,说明模型输出回流训练已被视为知识产权问题。蒸馏上限等于教师。
- 商业许可三档。
- 宽松开源:Boltz-1/2 MIT、Chai-1 Apache 2.0(含商用)、OpenFold3 Apache 2.0、Tahoe-x1 Apache 2.0。
- 非商用:AF3 权重仅限非营利机构,禁止用输出训练类似结构预测模型(二手:条款镜像,以官方现行版为准)[37];AlphaGenome 权重需接受非商用条款;ESM3-open(1.4B)学术非商用,大模型走 API,2025-11 并入 Biohub 后现行许可变更未查到。
- 不开放:Chai-2、IsoDDE、AlphaProteo(仅分阶段共享)。AF3 商用路径未能确认。
- "无一家公开买商业数据"的含义。 查到的开源 / 学术模型无一公开购买第三方商业训练数据。这既意味着公共库和模型自产数据已是主流配方,也意味着商业真值买卖主要发生在药企之间或"数据 + 模型"打包授权中;药企私有数据靠联邦(OpenFold3)而非出售。这不证明没有未披露的交易,只说明公开材料无法核对。
- 虚拟细胞未稳定超越朴素基线。 二手转述称独立基准中多个基础模型连调好的线性基线都没打过,Arc 自称显著更好,两者口径冲突,未回源。该争议关联配方:1 亿级扰动数据量是否足以学到非平凡规律。
- 自评与公司口径。 Chai-2 约 16%、IsoDDE 超 AF3 两倍、Tahoe-x1 3–30 倍效率、Boltz-2 近 FEP 均为公司口径,无独立复现。Anthropic binder:评论称无人类对照组、无结构验证(二手,未回源 ⚠️);"14/15 靶点"是靶点层面至少一个结合物,不等于 93% 的设计成功(评论者指出,二手)。
口径冲突与未核实
| 说法 A | 说法 B | 采信 | 原因 |
|---|---|---|---|
| OpenGenome2 = 9.3 万亿碱基 | OpenGenome2 = 8.84 万亿 nt | 8.84 万亿 nt | 9.3 万亿是 Evo 2 40B 的训练 token 数 |
| AF2 "自蒸馏占训练集 25%" | AF2 最终训练约 75% 样本取自自蒸馏、约 25% 来自 PDB | 后者 | 方向相反;数据来自 NVIDIA 模型卡转述(二手),建议回源补充材料 |
| Boltz-2 亲和力用 PDBbind / 商业数据 | ChEMBL v34 + BindingDB + PubChem 约 120 万结合物 | 后者 | 一手论文;PDBbind 仅在 MISATO 处理中用于配体匹配 |
| Anthropic 1,440 设计 | 1,320 设计 / 354 binder = 26.8% | 1,320 / 354 | 总体口径;26.7% 与 35.1% 为多靶点 / 单靶点分组 |
| scFoundation 属华大 | 清华张学工组 + 百图生科 | 后者 | 作者归属 |
| ProGen3 "46 billion tokens" | 46B 参数、1.5T token | 后者 | 一手摘要 |
| Geneformer V2 1.04 亿 | 1.03 亿 | HF 官方卡 1.04 亿 | 数字分歧已标注 |
| TranscriptFormer 1.12 亿 | 1.1 亿 | 1.12 亿 | 模型卡口径 |
| AF3 配体姿态 74.5% → 55.8% | 论文与可查来源均未核到 | 不引用 ⚠️ | 仅见二手转述 |
| OpenAI 基金会 $4,000 万付 UNC 造数据 | 无佐证 | 不引用 | 未核实 |
来源
访问日期均为 2026-10-15。
- AF2 训练数据复现说明(NVIDIA): https://docs.api.nvidia.com/nim/re/reference/deepmind-alphafold2
- Princeton COS598L AF2 讲义: https://www.cs.princeton.edu/courses/archive/spring26/cos598L/lectures/2026_02_10_lec3_af2.pdf
- AF3 Nature(PMC 版): https://pmc.ncbi.nlm.nih.gov/articles/PMC11168924/
- OpenFold3 / AWS Marketplace 列表: https://aws.amazon.com/marketplace/pp/prodview-uwovysumhdw7g
- Apheris AISB 网络: https://www.apheris.com/networks/aisb ;R&D World: https://www.rdworldonline.com/openfold3-debuts-as-apache-licensed-protein-co-folding-model-with-apheris-bringing-it-into-pharma-it/
- Boltz-2 bioRxiv: https://www.biorxiv.org/content/10.1101/2025.06.14.659707v1.full
- MIT CSAIL / Recursion: https://www.csail.mit.edu/news/mit-releases-breakthrough-protein-binding-affinity-model-expanding-role-ai-drug-discovery ;Boltz PBC: https://www.biopharmatrend.com/news/boltz-pbc-launches-with-28m-seed-round-pfizer-collaboration-and-three-guarantees-1455/
- Chai-lab GitHub: https://github.com/chaidiscovery/chai-lab
- Chai-2 技术报告: https://www.biorxiv.org/content/10.1101/2025.07.05.663018.full.pdf
- RFAA Dryad: https://datadryad.org/dataset/doi:10.5061/dryad.mcvdnck6v
- NVIDIA BioNeMo UniProt 数据集: https://docs.nvidia.com/bionemo-framework/2.1/datasets/uniprot/
- ESM3 bioRxiv: https://www.biorxiv.org/content/10.1101/2024.07.01.600583v1.full
- ProGen3: https://www.biorxiv.org/content/10.1101/2025.04.15.649055.full.pdf
- ProteinMPNN 训练集镜像: https://huggingface.co/smares/proteinMPNN_noMHC
- RFdiffusion2: https://www.ipd.uw.edu/2025/04/introducing-rfdiffusion2
- Chroma Nature: https://doi.org/10.1038/s41586-023-06728-8
- EvoDiff: https://pypi.org/project/evodiff/
- Evo 2 bioRxiv: https://www.biorxiv.org/content/10.1101/2025.02.18.638918v1.full
- Nucleotide Transformer: https://instadeep.com/research/paper/nucleotide-transformer-building-and-evaluating-robust-foundation-models-for-human-genomics/
- AlphaGenome HF: https://huggingface.co/google/alphagenome-all-folds
- AlphaGenome bioRxiv: https://www.biorxiv.org/content/10.1101/2025.06.25.661532v1.full
- scGPT: https://omicverse.readthedocs.io/en/latest/Tutorials-llm/t_scgpt.html
- Genecorpus-30M: https://huggingface.co/datasets/ctheodoris/Genecorpus-30M
- scFoundation GitHub: https://github.com/biomap-research/scFoundation
- STATE bioRxiv: https://www.biorxiv.org/content/10.1101/2025.06.26.661135v1.full
- TranscriptFormer: https://helical.readthedocs.io/en/latest/model_cards/transcriptformer/
- Tahoe-x1: https://huggingface.co/tahoebio/Tahoe-x1
- Uni-Mol: https://git.tdem.in/dptech-corp/Uni-Mol
- MoLFormer: https://www.alphaxiv.org/abs/2106.09553
- xTrimoPGLM: https://arxiv.org/abs/2401.06199v1
- AlphaProteo: https://deepmind.google/blog/alphaproteo-generates-novel-proteins-for-biology-and-health-research/
- Anthropic binder 报告(HyperAI 摘要、eWeek、HF 数据集): https://hyper.ai/de/papers/claude_protein_binder_design ;https://huggingface.co/datasets/Anthropic/claude-protein-binder-design
- IsoDDE: https://isomorphiclabs.com/articles/the-isomorphic-labs-drug-design-engine-unlocks-a-new-frontier
- OpenAI × Retro: https://openai.com/index/accelerating-life-sciences-research-with-retro-biosciences
- Arc Virtual Cell Atlas: https://arcinstitute.org/news/arc-virtual-cell-atlas-launch ;Tahoe 融资: https://www.silicon.co.uk/press-release/tahoe-therapeutics-raises-30m-to-build-worlds-largest-dataset-for-training-ai-models-of-human-cell
- 晶泰: https://en.xtalpi.com/xtalpis-intelligent-autonomous-lab-solution-platform-drives-multi-industry-innovation
- AF3 权重条款镜像: https://code.rc.uab.edu/rc-data-science/community-containers/Alphafold3/-/blob/6166cdc03cb35acb23815aab7aeb749c213c6d8a/WEIGHTS_TERMS_OF_USE.md
本章涉及的实体
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。