Data / AI for Science / 实体卡片

真值少但权重高的配方结构

概念与方法配方

公共库打底、蒸馏放大、少量真值高权重收尾

原理

多数模型配方分三层：公共库条目占 99% 以上；蒸馏数据把条目数放大 1–2 个数量级；湿实验真值条目最少，却在采样权重或后训练阶段占比最高。

跨模型证据

AlphaFold2：约 75% 采样来自约 35.6 万条自蒸馏、约 25% 来自 PDB（二手）[1]。
ESM3：PDB 每结构 64 条合成序列，预测结构每个 5 条，50% 概率使用 [2]。
Boltz-2：AFDB 蒸馏约 500 万对 PDB 约 20 余万；亲和力全用公共测定 [3]。
OpenFold3 preview：蒸馏约 1,300 万，约为 PDB 的 50 倍（二手，见 AlphaFold DB 与结构蒸馏）；另有药企联邦微调 [5]。
ProGen3：更大模型对实验室数据对齐响应更强 [4]。

与机器人专栏的类比

机器人真机小时数仅占 1–10% 但微调权重高，蛋白对应为 PDB 条目少而采样权重高。机器人有公开采购清单，生物没有：已查到的开源与学术模型无一公开购买商业数据。

局限

真值主要经评测、对齐与联邦微调进入模型。蒸馏继承教师偏差，评测须用截止日之后的新结构（见数据泄漏（训练-测试泄漏））。

来源

相关卡片

AlphaFold DB 与结构蒸馏概念与方法

用预测结构当训练数据的做法，AF2 约 75% 训练样本取自自蒸馏

数据泄漏（训练-测试泄漏）概念与方法

基准分数被高估的首要原因：测试样本与训练集近重复

阴性数据概念与方法

公开语料普遍缺失失败结果，Proteinbase 与 CACHE 是少数公开者

AlphaFold2论文与基准 · 英国

75% 自蒸馏加 25% PDB 的结构预测奠基模型

AlphaFold3论文与基准 · 英国

PDB 截止 2021-09-30，权重限非营利，输出禁训同类模型

AlphaGenome论文与基准 · 英国

功能基因组轨道预测，1 Mb 输入，蒸馏学生模型

Arc State论文与基准 · 美国

1 亿多扰动细胞训练，数据由 Tahoe、Parse 等外部生产

Boltz-2论文与基准 · 美国

亲和力全用公共库，MD 加二级蒸馏，MIT 许可

ESM3论文与基准 · 美国

序列、结构、功能多模态，双层合成：预测结构加逆折叠序列

ProGen3论文与基准 · 美国

自建 PPA-1 精选 3.4B 蛋白，最大 46B MoE、1.5T token

卡片整理 2026-10-15。公司自报数据标“公司口径”；⚠️ 为未经独立核实。