AI for Bio benchmark 总览:44 项的身份、证据层级与排名状态
AI for Bio 模型常被一个 benchmark 数字概括,但这些尺子本身差异极大。本页把 44 个常用 benchmark 按领域列成一张总表,每一项的类型、证据层级、首发与最近更新、wet lab 更新方式、报告模型数与当前排名状态都直接取自各自的实体记录,与实体页、配对矩阵和数据与 wet lab 页同源。截至 2026-11-16。
怎么读
本站不给 benchmark 打分,也不跨 benchmark 比较模型分数。每项的当前排名只在它自己的口径内成立;排名状态分五种:榜单(主办方榜单)、自报(开发方自己报告)、第三方(独立评测)、不可比(各来源口径不一,不给头条数字)、无排名。日期带 † 的表示未核实。
证据层级 L1–L6(表示证据类型,不表示优劣;一个 benchmark 可以横跨多层)
| 层级 | 含义 |
|---|---|
| L1 | 知识复现(问答、选择题) |
| L2 | 回顾性随机或同分布切分 |
| L3 | 分层或 OOD 切分(相似度、scaffold、时间) |
| L4 | 隐藏真值的盲测(提交时真值不存在) |
| L5 | 前瞻湿实验 |
| L6 | 独立复现 |
类型 A–E(一个项目常同时属于两类,主类在前)
| 类型 | 含义 |
|---|---|
| A | 周期盲测挑战,每届新题新真值 |
| B | 静态数据集套件 |
| C | 基础设施:检查器、切分工具或评测协议 |
| D | 计算 oracle,真值来自打分函数或折叠回读 |
| E | agent 与 LLM 的任务环境 |
44 个 benchmark 总表
按领域分组,组内按编号排列。报告模型数按 pairs_v2 的成立关系计(官方榜单、自报、改协议自报、第三方、赛后数据复用),仅被引用与未证实的不计。排名状态:榜单 18、自报 3、第三方 6、不可比 9、无排名 8。
结构/共折叠(7)
| NN | Benchmark | 类型 | 证据 | 首发 | 最近更新 | 状态 | wet lab | 报告模型数 | 排名 | 收录 | 一句定位 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 01 | CASP | A | L4 | 新一轮 | ● 活跃 | 新 | 15 | — 无排名 | 核心 | 两年一届的蛋白结构预测盲测;增量价值已转向复合物、RNA、配体与构象系综。 | |
| 05 | PoseBusters | C+B | L3 | 仅维护 | ● 活跃 | 静态 | 8 | ≠ 不可比 | 核心 | 蛋白-配体姿态评测:RMSD 阈值加 18 项物理化学有效性检查 | |
| 15 | CAMEO | A | L4 | †(未核实) | — 无后续事件†(未核实) | ● 活跃 | 新 | 4 | ◌ 第三方 | 核心 | 每周用 PDB 预发布序列对结构预测服务器做的滚动盲测 |
| 22 | CAPRI | A | L4 | †(未核实) | 新一轮 | ◔ 本轮进行中 | 新 | 2 | — 无排名 | 核心 | 蛋白复合物预测最早的前瞻盲测,其分级与 DockQ 是通用口径 |
| 25 | RNA-Puzzles | A+B | L4(L2–L4) | 新一轮†(未核实) | ◐ 低频 | 新 | 3 | ▣ 榜单 | 核心 | RNA 三维结构社区盲测;准确率取决于有无近缘模板,而非模型范式。 | |
| 30 | PLINDER / PINDER / Runs N' Poses | C+B | L3 | †(未核实) | 新版本†(未核实) | ● 活跃 | 累积 | 5 | ▣ 榜单 | 核心 | 把训练集相似度作为一等切分标准的对接与共折叠泛化评测基础设施。 |
| 31 | FoldBench | B | L3 | 榜单条目 | ◐ 低频 | 静态 | 12 | ▣ 榜单 | 补充 | 低同源 PDB 组装体上的全原子共折叠评测;抗体-抗原是最常被引用的区分项。 |
小分子(10)
| NN | Benchmark | 类型 | 证据 | 首发 | 最近更新 | 状态 | wet lab | 报告模型数 | 排名 | 收录 | 一句定位 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 03 | MoleculeNet (+OGB) | B | L2(L2–L3) | 论文修订 | ○ 冻结 | 静态 | 2 | ≠ 不可比 | 核心 | 分子表示学习的历史默认套件:17 个公开数据集,适合文献对齐与回归测试,不足以支撑药研能力宣称 | |
| 04 | TDC (ADMET + DTI) | B | L2(L2–L3) | 论文修订 | ● 活跃 | 静态 | 4 | ▣ 榜单 | 核心 | ADMET 预测事实上的提交式榜单;适合方法横向筛选,不宜作研发决策依据。 | |
| 06 | CASF-2016 | B | L2 | 无后续事件 | ○ 冻结 | 静态 | 0 | ≠ 不可比 | 核心 | 蛋白-配体打分函数的十年默认口径,拆为打分、排序、对接、筛选四项能力;数据冻结且与训练集高度重叠 | |
| 07 | USPTO family (+PaRoutes) | B | L2(L2–L3) | 数据发布 | ○ 冻结 | 静态 | 5 | ≠ 不可比 | 核心 | 逆合成与反应预测的默认数据口径;测的是能否复现专利记录,不是路线能否做成。 | |
| 12 | DUD-E / LIT-PCBA | B | L2 | 仅维护†(未核实) | ◐ 低频 | 静态 | 2 | ◌ 第三方 | 核心 | 虚拟筛选富集的两代静态集:DUD-E 用构造诱饵,LIT-PCBA 用 PubChem 实测非活性;二者都有已知偏置或泄漏 | |
| 19 | PMO (Practical Molecular Optimization) | D | L2 | 新版本†(未核实) | ◐ 低频 | 静态 | 2 | ○ 自报 | 核心 | 在 10,000 次 oracle 调用预算内比较分子优化的样本效率 | |
| 20 | CACHE | A | L5 | †(未核实) | 数据发布†(未核实) | ● 活跃 | 新 | 0 | — 无排名 | 核心 | 计算团队提交可购化合物,组织方实测结合,是真做湿实验的盲测 |
| 27 | Polaris / ASAP / OpenADMET | A+C | L4 | 新版本†(未核实) | ◐ 低频 | 新 | 0 | — 无排名 | 核心 | 工业界牵头的基准托管平台、方法指南与盲测挑战;代表赛事是用未发表项目数据赛后揭盲的抗病毒挑战 | |
| 33 | PoseX | B | L3 | 论文修订 | ● 活跃 | 静态 | 6 | ◌ 第三方 | 补充 | 同一协议比较物理对接、AI 对接与共折叠共 23 个方法,并分开自对接与交叉对接 | |
| 44 | FS-Mol | B | L3 | 已归档†(未核实) | ○ 冻结 | 静态 | 0 | ≠ 不可比 | 补充 | 在全新 assay 上只给 16–256 个标签,预测其余分子活性;填补少样本适配场景。 |
蛋白(5)
| NN | Benchmark | 类型 | 证据 | 首发 | 最近更新 | 状态 | wet lab | 报告模型数 | 排名 | 收录 | 一句定位 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 02 | ProteinGym | B | L2(L2–L3) | †(未核实) | 数据发布†(未核实) | ◐ 低频 | 累积 | 10 | ▣ 榜单 | 核心 | 把两百余条公开深度突变扫描整理成统一套件,评测蛋白变异效应与适应度排序 |
| 17 | CAFA | A | L4(L4–L5) | †(未核实) | 新一轮†(未核实) | ● 活跃 | 累积 | 0 | — 无排名 | 核心 | 蛋白功能(GO)预测的时间延迟前瞻盲测,真值为提交后新增的实验注释 |
| 26 | FLIP / FLIP2 | B | L2(L2–L3) | 新版本†(未核实) | ◐ 低频 | 静态 | 2 | ≠ 不可比 | 核心 | 监督设定下的蛋白适应度基准,用刻意偏移的切分测低资源与外推 | |
| 28 | Adaptyv competitions / BenchBB | A+B | L5 | †(未核实) | 新一轮 | ● 活跃 | 新 | 4 | — 无排名 | 核心 | 连续多轮、公开数据的前瞻蛋白设计评测;主办方为商业服务商,非可刷分榜单。 |
| 40 | MotifBench | D | L2 | 榜单条目 | ● 活跃 | 静态 | 3 | ▣ 榜单 | 补充 | 30 道固定 motif scaffolding 题目,统一流水线判定,附提交制榜单;真值仍是计算的。 |
抗体(4)
| NN | Benchmark | 类型 | 证据 | 首发 | 最近更新 | 状态 | wet lab | 报告模型数 | 排名 | 收录 | 一句定位 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 34 | AbBiBench | B | L2(L2–L3) | 论文修订 | ● 活跃 | 静态 | 6 | ▣ 榜单 | 补充 | 以抗体-抗原复合物为单位的零样本打分相关性评测,补上抗体功能评测空白。 | |
| 35 | FLAb / FLAb2 | B | L2(L2–L3) | 仅维护 | ● 活跃 | 累积 | 1 | ◌ 第三方 | 补充 | 治疗性抗体可开发性的聚合回顾基准,结论偏负面。 | |
| 36 | AIntibody | A | L5 | 数据发布 | ◐ 低频 | 新 | 1 | ▣ 榜单 | 补充 | 抗体侧的前瞻盲测:设计提交后统一测亲和力与可开发性。 | |
| 43 | Ginkgo GDPa1 | A+B | L4 | †(未核实) | 数据发布†(未核实) | ◐ 低频 | 新 | 0 | ▣ 榜单 | 补充 | 246 个临床抗体的统一 assay 可开发性数据,加 80 个私有留出抗体的一次性盲测。 |
基因组/RNA(8)
| NN | Benchmark | 类型 | 证据 | 首发 | 最近更新 | 状态 | wet lab | 报告模型数 | 排名 | 收录 | 一句定位 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 08 | Basenji/Enformer test set | B | L2(L2–L3) | †(未核实) | 仅维护†(未核实) | ● 活跃 | 静态 | 3 | ○ 自报 | 核心 | 序列到功能模型的事实口径:固定留出区域上的表观与表达轨迹预测 |
| 11 | ClinVar hold-out protocol | B | L2(L2–L3) | †(未核实) | 数据发布 | ● 活跃 | 累积 | 5 | ≠ 不可比 | 核心 | 用临床标签库的留出变异区分致病与良性,各论文自定快照与子集 |
| 13 | CAGI | A | L4(L4–L5) | †(未核实) | 新一轮 | ● 活跃 | 新 | 1 | ◌ 第三方 | 核心 | 变异解读领域持续十余年的 CASP 式盲测,真值为提交时未公开的实验或临床数据 |
| 16 | GUE + Nucleotide Transformer 基准 | B | L2(L2–L3) | 数据发布 | ◐ 低频 | 静态 | 0 | — 无排名 | 核心 | DNA 语言模型的短序列调控元件分类套件;只能当冒烟测试 | |
| 21 | DREAM5 / BEELINE / CausalBench | A+B+C | L2(L2–L5) | †(未核实) | 论文修订†(未核实) | ◐ 低频 | 静态 | 0 | ≠ 不可比 | 核心 | 基因调控网络推断的三代评测,分数主要反映金标准网络的质量 |
| 37 | TraitGym | B | L3 | 仅维护†(未核实) | ◐ 低频 | 静态 | 3 | ▣ 榜单 | 补充 | 非编码因果变异与匹配对照的二分类基准。 | |
| 38 | BEND | B | L2 | 新版本 | ● 活跃 | 静态 | 0 | ▣ 榜单 | 补充 | 用人类基因组功能任务评测 DNA 语言模型的冻结表示。 | |
| 39 | RNAGym | B | L2 | 榜单条目†(未核实) | ● 活跃 | 静态 | 1 | ▣ 榜单 | 补充 | RNA 适应度与结构的零样本评测框架。 |
单细胞(2)
| NN | Benchmark | 类型 | 证据 | 首发 | 最近更新 | 状态 | wet lab | 报告模型数 | 排名 | 收录 | 一句定位 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 09 | scIB (+Open Problems) | B+C | L2 | 新版本 | ● 活跃 | 累积 | 1 | ▣ 榜单 | 核心 | 单细胞整合的默认度量:批次去除与生物保守两组指标,由 Open Problems 平台承接 | |
| 24 | 虚拟细胞挑战赛与扰动预测评测 | A+B+C | L4(L2–L4) | 新一轮†(未核实) | ● 活跃 | 新 | 9 | ▣ 榜单 | 核心 | 唯一为评测专门生成 Perturb-seq 数据的挑战,但线性与均值基线仍难被打败 |
分子生成(2)
| NN | Benchmark | 类型 | 证据 | 首发 | 最近更新 | 状态 | wet lab | 报告模型数 | 排名 | 收录 | 一句定位 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 10 | GuacaMol (+MOSES) | D | L2 | 仅维护 | ○ 冻结 | 静态 | 0 | — 无排名 | 核心 | 分子生成的入场券式口径;真值全为计算 oracle,已停更,优化侧被 PMO 取代。 | |
| 32 | CrossDocked2020 | D | L2 | †(未核实) | 数据发布†(未核实) | ○ 冻结 | 静态 | 1 | ≠ 不可比 | 补充 | 口袋条件分子生成的事实默认评测集,分数由对接软件给出 |
文本与 agent(6)
| NN | Benchmark | 类型 | 证据 | 首发 | 最近更新 | 状态 | wet lab | 报告模型数 | 排名 | 收录 | 一句定位 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 14 | PubMedQA | B+E | L1 | 仅维护 | ○ 冻结 | 静态 | 2 | ▣ 榜单 | 核心 | 给定 PubMed 摘要回答是/否/也许的 500 题测试集;头部分数已挤在噪声内 | |
| 18 | LAB-Bench / LABBench2 | E | L1(L1–L2) | 仅维护 | ● 活跃 | 静态 | 3 | ▣ 榜单 | 核心 | 生物研究基础能力题库;原版多选已部分饱和,作者以 LABBench2 取代 | |
| 23 | BioASQ | A+B | L1(L1–L4) | †(未核实) | 结果公布 | ● 活跃 | 累积 | 0 | ▣ 榜单 | 核心 | 唯一年度滚动、专家出新题并人工评分的生物医学检索与问答挑战 |
| 29 | BixBench | E | L2 | †(未核实) | 榜单条目†(未核实) | ● 活跃 | 静态 | 3 | ▣ 榜单 | 核心 | 让 agent 在容器里对真实数据写代码做生信分析,并按结论判分 |
| 41 | BioML-bench | E | L2 | 论文修订 | ◐ 低频 | 静态 | 1 | ○ 自报 | 补充 | 让 agent 端到端跑生物医学 ML 流水线,与人类公开榜单成绩比较;被测 agent 平均低于人类基线。 | |
| 42 | BioMysteryBench | E | L2(L2–L4) | 榜单条目†(未核实) | ● 活跃 | 静态 | 1 | ◌ 第三方 | 补充 | 真实测序数据剥离元数据后出题,只判最终答案;由模型厂商自己出题,公开部分仅 5 题。 |
分布
| 领域 | benchmark 数 | 排名状态 | wet lab 更新 | 成立配对数 |
|---|---|---|---|---|
| 结构/共折叠 | 7 | 榜单 3 · 第三方 1 · 不可比 1 · 无排名 2 | 新 4 · 累积 1 · 静态 2 | 49 |
| 小分子 | 10 | 榜单 1 · 自报 1 · 第三方 2 · 不可比 4 · 无排名 2 | 新 2 · 静态 8 | 21 |
| 蛋白 | 5 | 榜单 2 · 不可比 1 · 无排名 2 | 新 1 · 累积 2 · 静态 2 | 19 |
| 抗体 | 4 | 榜单 3 · 第三方 1 | 新 2 · 累积 1 · 静态 1 | 8 |
| 基因组/RNA | 8 | 榜单 3 · 自报 1 · 第三方 1 · 不可比 2 · 无排名 1 | 新 1 · 累积 1 · 静态 6 | 13 |
| 单细胞 | 2 | 榜单 2 | 新 1 · 累积 1 | 10 |
| 分子生成 | 2 | 不可比 1 · 无排名 1 | 静态 2 | 1 |
| 文本与 agent | 6 | 榜单 4 · 自报 1 · 第三方 1 | 累积 1 · 静态 5 | 10 |
十条核心判断
- 能证明"方法进步"的只有少数几个盲测。 CASP、CAPRI、CAFA、CAGI、CAMEO、CACHE 加上抗体侧新出现的 AIntibody,是全领域仅有的制度化"提交时真值不存在"评测。其余三十多项的隔离与泛化控制都要弱一档。
- 影响力最高的一批,质量往往最差。 MoleculeNet、USPTO、CASF-2016、DUD-E、GuacaMol 的成绩有相当部分来自记忆与构造性捷径。能被无限刷的静态集才积累得起影响力。
- 简单基线追平深度模型,是跨领域反复出现的结果。 CASF-2016 上不训练、只取最相似训练复合物均值的检索基线即可接近早期深度模型(CASF);TDC 的 ADMET 分任务榜上梯度提升加指纹基线胜过多数预训练模型(TDC);25 个预训练分子嵌入模型除 1 个外都不优于 ECFP(MoleculeNet);一项独立研究报告 Enformer 的跨个体平均表达相关接近零(Enformer);扰动预测中 mean、no-change 与线性基线未被稳定超越(扰动评测);DNA 语言模型被随机初始化的同架构模型追平(GUE/NT);RNA 3D 的 Kaggle 头名是非深度学习的模板检索管线(RNA-Puzzles);非编码因果变异上,基于比对的方法(CADD 为孟德尔集零样本第 1)仍在孟德尔与复杂疾病性状上占优(TraitGym)。
- 指标效度是全领域共性短板。 多数 benchmark 不报置信区间,而头部差距常小于样本噪声:PubMedQA 500 题的二项标准误约 ±1.9 个百分点,而前五名只差约 1.4 点;PoseBusters V2 只有 308 个体系,头部几个百分点的差距不足以支撑排名;FoldBench 的 RNA、DNA 单体任务只有 14–15 个目标,蛋白-肽 51 个,论文本身提示差距小的排名不应解读。
- 泄漏问题已从"随机 split 不够"升级为"相似度必须成为一等公民",而共折叠模型在低相似度档会塌陷。 一项 2025 年去泄漏研究称 CASF-2016 约 49% 的测试复合物在训练集中有相似对;一份报告称 USPTO-50K 约 94% 的测试反应可由训练集模板匹配(USPTO);PLINDER 家族 把隔离单位升级为多维相似度后,共折叠模型在低相似度档显著掉分;FoldBench 独立复现了同一现象:配体与训练集越不相似、成功率越低,蛋白-蛋白界面同理,而且训练截止越晚的模型越需要只报后段子集。
- 抗体评测刚刚起步,而起步的结论是负面的。 四项抗体基准都是 2024 年以后才出现的:AIntibody 发现成绩不跨任务迁移、多数设计并未胜过传统筛选;GDPa1 的论文显示交叉验证与私有留出集两种口径的结果系统性不同;FLAb2 在约八成数据集上零样本相关不显著,起作用的多是胚系偏差;AbBiBench 的结论是结构条件的反折叠模型最稳、抗体专用微调并不稳定带来提升。与此同时,按本轮关系口径,7 个抗体专用模型里只有 1 个(IgGM / IgGM-FM)在这四项上有成立的配对,其余成绩都来自自建测试集(见配对矩阵)。
- 新一批 benchmark 大多是静态集,趋势在抗体之外停住了。 补充收录的 14 项里 11 项不产生新实验数据,CrossDocked2020 与 MotifBench 的真值干脆是对接打分与折叠回读;定期产生新实验真值的只有 AIntibody 与 GDPa1 这两项抗体基准。被广泛采用的主要是 FoldBench(12 个模型有成立配对,补充 14 项中最多),原因是它有维护方统一运行的榜单、覆盖抗体-抗原等最想比的界面、而且不用等窗口。
- "官方榜单"多数是维护方自己跑的,不是行业在提交。 本站 196 条模型 × benchmark 配对中成立 131 条,其中官方参赛 / 官方榜单类 38 条,20 条集中在 ProteinGym、FoldBench、AbBiBench 三项,而这三项的条目都由基准方运行(AbBiBench 的条目还是从论文图读出的打分相关性,并非重跑)。真正提交制的只有 MotifBench 与 LABBench2 等少数几处。
- agent 与 LLM 侧现在有了官方榜,但口径管理成了新问题。 LABBench2 有官方榜并标注更新日期(2026-03-23),BixBench 的后继版本 BixBench3 也有持续更新的官方榜,这比过去各家自报是进步;但 BixBench3 由另一家机构运营、任务与指标都与原版不同,不可同列,厂商系统卡的同一子项有多套复述口径,而 BioMysteryBench 由模型厂商自己出题、完整集不对外、公开部分仅 5 题。同时 PubMedQA 已饱和(官方榜最新条目为 2024-04-18),原版 LAB-Bench 的部分子集已饱和。
- 最被低估的不是题库,而是基础设施。 PoseBusters 的遗产是"RMSD 之外还要过物理有效性检查";PLINDER 的是相似度分层 split;PMO 的是"固定 oracle 预算";Polaris 的是 bootstrap 加 Tukey HSD 的排名统计协议;MotifBench 的是统一的生成-回读流水线。这几样比各自的排行榜更值得继承。另外,"榜上名次提升带来湿实验命中率提升"这条链,44 项里仍没有一项提供量化证据:CAFA3 做过前瞻实验验证,但实验命中率与 Fmax 的对应关系未量化,DREAM5 的 53 条预测中 23 条获支持,Adaptyv 的数据显示计算指标与实测亲和力仅弱相关。
按场景选型组合
通用原则:每个场景用"锚点 + 压力测试 + 真实验证"三层。锚点用于和文献对齐,压力测试用于暴露泄漏与捷径,真实验证用于回答能不能用。前两层不能替代第三层。
S1 蛋白单体与复合物结构
- 组合:CASP 当届分赛道 + CAMEO 滚动窗口 + CAPRI,横比加 FoldBench 的单体与界面任务。
- 控制变量:训练截止日与靶点释放日、模板与 MSA 的使用边界、采样数与 top-1/top-k、是否有人工干预。
- 能支持的结论:注明届次内的结构泛化能力。不能支持功能结论或药物设计可用性。
S2 共折叠与配体姿态
- 组合:PoseBusters V2 + Runs N' Poses 相似度分档 + PoseX 的 cross-docking + FoldBench 蛋白-配体子集;训练自有模型时加 PLINDER-PL50。
- 控制变量:版本(V1/V2、SD/CD)、训练截止、选姿规则;必报最近邻训练位姿拷贝与物理对接基线;手性与冲突单独报。
- 能支持的结论:按相似度分档的姿态正确率。不能支持亲和力结论。
S3 亲和力打分与虚拟筛选
- 组合:CASF-2016(只作历史对齐)+ 去泄漏重测(LP-PDBBind、CleanSplit)+ LIT-PCBA(去重后)+ CACHE 或 Polaris 承办的盲测。
- 控制变量:相似度检索基线、去重后的分子计数单位、训练集与评测集的库级重叠(公开亲和力模型几乎都吃 ChEMBL 与 BindingDB)。
- 能支持的结论:去泄漏后的相对增益,以及前瞻命中的定性证据。
S4 变异效应与蛋白工程
- 组合:ProteinGym(按 assay 类型分层,多指标同报)+ FLIP/FLIP2 外推 split + CAGI 的 MAVE 盲测。
- 控制变量:MSA 深度与分类群(病毒蛋白单独报);训练配方与随机种子(同一模型在某些 landscape 上波动极大);必报 RSALOR、EVE、one-hot 加 ridge 三个基线;区分榜单口径与自选 DMS 子集口径。
- 能支持的结论:assay 内排序与指定外推轴上的能力。不能支持"最佳工程模型"。
S5 变异致病性
- 组合:ClinVar 时间或基因留出 + ProteinGym 临床轨 + CAGI 临床类挑战。
- 控制变量:标签循环(训练特征与 ClinVar 证据重叠)、基因级标签失衡、零样本与有监督探针必须分开(在 Evo 2 这类基因组模型上,两者结论差别很大)。
- 能支持的结论:回顾性分类能力;盲测证据只能来自 CAGI。
S6 蛋白 binder 与 de novo 设计
- 组合:Adaptyv/BenchBB 历史轮次 + 自有或付费的前瞻 SPR/BLI + 靶点难度分层;motif scaffolding 另加 MotifBench。
- 控制变量:已知抗体改造与 de novo 分开;统一 hit 定义;每靶设计条数必须披露(公开的设计战役每靶常只有十几到几十条);不能单独用界面置信度指标筛选。
- 能支持的结论:指定靶点上命中率的定性比较。单轮结果不能用于排名。
S7 抗体设计与可开发性
- 组合:AIntibody(唯一的前瞻盲测,只能等下一届)+ GDPa1 留出集 + AbBiBench 零样本相关 + FLAb2 七类性质 + FoldBench 抗体-抗原界面。
- 控制变量:结构精度与功能预测分开(FoldBench 只测结构,AbBiBench 测打分相关);交叉验证结果与留出集结果必须并列报告;自定子集(例如各家论文自己切的抗体-抗原子集)不能与官方榜并排;胚系相似度要作为协变量。
- 能支持的结论:零样本打分与实测的相关强弱、留出集上的可开发性误差。不能支持"抗体设计已可用"。
S8 蛋白功能注释
- 组合:CAFA(no-knowledge 子集,按子本体分报)+ 自建时间切分。
- 控制变量:GO 版本与证据过滤;必报 Naive 与 BLAST 基线;文本挖掘方法与纯序列方法分区;自选的 GO 测试集不等于 CAFA 盲测。
- 能支持的结论:时间泛化。"未注释"不能当作错误。
S9 ADMET 与少样本新 assay
- 组合:TDC-ADMET(多种子)+ Polaris 承办的盲测(OpenADMET 的挑战在 Polaris 之外运行,本站不计入该条目) + 自有项目的时间前向回测;MoleculeNet 只作历史对齐;标签极少的新 assay 用 FS-Mol 的多支持集预算曲线加自有冻结样本。
- 控制变量:按实验室来源与时间分开留出;必报 XGBoost 加 ECFP 这类强基线;FS-Mol 要做靶家族隔离与二值化阈值说明;盲测里参赛条目常被匿名化,公开模型无法与之对应,不能据以认领名次。
- 能支持的结论:指定化学系列上的实用误差、低标签条件下的适配效率。榜单名次不能当研发决策依据。
S10 分子生成与优化
- 组合:PMO(多档预算曲线)+ 化学质量过滤后的得分 + 可合成性检查;GuacaMol 只作冒烟测试。
- 控制变量:oracle 调用次数与总计算、多个随机种子;PMO 的多数 oracle 来自 GuacaMol,两者不是两份独立证据;"不受约束的基线"要同时报(合成约束方法的卖点常是不掉分,而不是更高)。
- 能支持的结论:预算内的搜索效率。不能支持真实活性。
S11 结构条件分子生成
- 组合:CrossDocked2020 标准切分 + PoseBusters 有效率与相互作用恢复 + 自有口袋上的对接与合成评估。
- 控制变量:写清切分口径(原始数据集与生成任务子集完全不同);对接分是 oracle,不是真值;必报类药性与可合成性,避免只看对接分;口袋与训练集的相似度要报。
- 能支持的结论:生成分子在给定口袋上的几何与对接表现。不能支持活性或可成药性。
S12 逆合成与反应预测
- 组合:USPTO-50K/MIT(只作对齐)+ PaRoutes 路线 + 模板检索基线。
- 控制变量:同一专利的反应可能跨 split;round-trip 指标依赖正向模型,有代理偏倚。
- 能支持的结论:专利文本层面的复现。"能做成"需要合成验证。
S13 DNA 与调控基因组
- 组合:GUE/NT 修订版(冒烟测试,多种子)+ BEND 功能任务 + Enformer/Borzoi 跨基因与跨个体分报 + TraitGym 因果变异。
- 控制变量:组成匹配的负样本、染色体留出;必报小 CNN 与 PrediXcan 类基线,以及基于比对的方法;BEND 的两个版本不可混用;用了 TraitGym 的变异集不等于进了它的榜。
- 能支持的结论:表征质量与参考基因组拟合、匹配对照下的因果变异识别。个体级效应仍须单独验证。
S14 RNA
- 组合:RNA-Puzzles、CASP RNA 赛道与 Kaggle 轮次作 3D 盲测 + RNAGym 的适应度与结构任务 + 二级结构按家族切分。
- 控制变量:有无模板分层、家族泄漏;自建测试集里"含若干 RNA-Puzzles 靶点"不等于报了 RNA-Puzzles 成绩;规模口径要注明来源。
- 能支持的结论:3D 与 2D、结构与适应度的结论各自独立,不能互相替代。
S15 单细胞整合、扰动与调控网络
- 组合:scIB(零样本与现场拟合两种设置)+ PerturBench 协变量迁移 + VCC 多指标 + DREAM5/BEELINE 逐网络对照。
- 控制变量:mean、no-change、additive、线性模型、HVG 加 PCA、scVI 这组基线;在供体与批次层重采样;赛后补评与参赛条目必须分开标注;网络推断逐网络报、不聚合,未观察到的边不当阴性。
- 能支持的结论:相对这组基线的增益。不能支持"虚拟细胞可用"。
S16 文献助手、生信与科研 agent
- 组合:BioASQ 当届批次 + LABBench2(工具与无工具对照)+ BixBench 全集与子集同报 + BioML-bench 端到端流水线 + BioMysteryBench(注意出题方)。
- 控制变量:版本号与榜单更新日期、工具权限、token 与时间预算、评分模型、人类基线是下界还是上界;厂商自跑与第三方复跑分开;原版与后继版题库不可同列。
- 能支持的结论:工具带来的增益趋势。不能支持科研能力的绝对水平。前沿模型在 LABBench2 与 BixBench3 上的成绩以官方榜单为准(LABBench2、BixBench3),引用须注明榜单更新日期;聚合站口径不同。
方法说明
- 每个 benchmark 与模型是一条中英双语记录,字段完全相同;本页、实体页、配对矩阵、训练数据页与数据页都由同一批记录生成,数字不会互相打架。
- 配对共 196 条,其中成立 131 条;关系类型与计数口径见配对矩阵。
- 未运行任何 benchmark,页内没有自测成绩;所有数字来自公开论文、官方仓库与榜单,未核实的日期标 †,未核实的分数不显示。
- 头条分数只在 benchmark 自身口径内有意义;不可比的 benchmark 不给头条数字,逐条结果见其实体页。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。