44 个 benchmark 的规模、更新与 wet lab 数据
44 个 benchmark 的规模、首发与最近更新,以及它们是否定期产生新的 wet lab 真值。数字取自各 benchmark 记录,与实体页同源。截至 2026-11-16。
三类 wet lab 更新方式
评测一个新模型时要不要自己补 wet lab:不需要 31 项;断言真实泛化时需要 13 项。
核心 30 项
| NN | Benchmark | 规模 | 首发 | 最近更新 | 状态 | wet lab 更新 | 需自补 wet lab |
|---|---|---|---|---|---|---|---|
| 01 | CASP | CASP16:210 个注册组(162 专家 + 48 服务器);药企配体赛道 233 个姿态靶、140 个亲和力靶。 | 新一轮 | ● 活跃 | 新:每两年一届,真值为结构生物学家提供的未公开实验结构;新真值只能通过参加下一届获得。 | 不需要 | |
| 02 | ProteinGym | v1.3:替换 217 条 assay、indel 74 条,临床子集 2,525 个蛋白。 | †(未核实) | 数据发布†(未核实) | ◐ 低频 | 累积:不做新实验;已发表 DMS 不定期并入,近期版本主要新增基线。 | 断言真实泛化时需要 |
| 03 | MoleculeNet (+OGB) | 论文列 17 个数据集,从 FreeSolv(642)到 PCBA(437,929 个化合物);QM9 含 133,885 个分子 | 论文修订 | ○ 冻结 | 静态:不新增实验;复用公开数据库,QM9 为 DFT 计算 oracle | 不需要 | |
| 04 | TDC (ADMET + DTI) | ADMET 组 22 个数据集(475–13,130 条);原论文全库 66 个数据集、22 类任务。 | 论文修订 | ● 活跃 | 静态:ADMET 组无新增湿实验;数据复用 ChEMBL 与公开沉积数据。 | 断言真实泛化时需要 | |
| 05 | PoseBusters | V1 428 个复合物,V2 308 个,另有 85 个的易例对照集;检查 18 项。 | 仅维护 | ● 活跃 | 静态:不做新实验;复用 2021 年后公开的 PDB 复合物。 | 断言真实泛化时需要 | |
| 06 | CASF-2016 | 285 个复合物(57 个靶点簇 × 5 个配体),每个复合物约 100 个对接 decoy | 无后续事件 | ○ 冻结 | 静态:不新增实验;复用 PDBbind 晶体结构与文献 Kd/Ki | 断言真实泛化时需要 | |
| 07 | USPTO family (+PaRoutes) | 源库约 330 万条反应;USPTO-50K 约 5 万;MIT-480K 479,035 条;PaRoutes 两套各 1 万条路线。 | 数据发布 | ○ 冻结 | 静态:无;为专利文本挖掘,非实验验证。 | 断言真实泛化时需要 | |
| 08 | Basenji/Enformer test set | 人 5,313 条轨迹、鼠 1,643 条;人测试集 1,937 条序列,每条 393,216 bp。 | †(未核实) | 仅维护†(未核实) | ● 活跃 | 静态:不做新实验;复用公开表观轨迹,变异任务用公开 eQTL 与 MPRA 数据。 | 断言真实泛化时需要 |
| 09 | scIB (+Open Problems) | 原论文:16 种方法、13 个任务、85 个批次、14 项指标;Open Problems 2025 版 12 个任务 | 新版本 | ● 活跃 | 累积:不新增实验;Open Problems 不定期从公开图谱新增数据集与任务 | 不需要 | |
| 10 | GuacaMol (+MOSES) | 5 个分布学习任务加 20 个目标导向任务;ChEMBL 24 子集训练 SMILES 1,273,104 个。 | 仅维护 | ○ 冻结 | 静态:无;真值为计算 oracle 与 ChEMBL 训练集。 | 断言真实泛化时需要 | |
| 11 | ClinVar hold-out protocol | 无统一版本:各论文自建子集,规模从约一万到十余万变异不等。 | †(未核实) | 数据发布 | ● 活跃 | 累积:不做新实验;月度新增的是临床提交,不是新测量。 | 不需要 |
| 12 | DUD-E / LIT-PCBA | DUD-E:102 个靶点、22,886 个活性分子;LIT-PCBA:15 个靶点、7,761 个活性、382,674 个非活性(官网计数) | 仅维护†(未核实) | ◐ 低频 | 静态:不新增实验;DUD-E 用构造诱饵,LIT-PCBA 用 PubChem 实测数据 | 断言真实泛化时需要 | |
| 13 | CAGI | CAGI7 共 14 个挑战(12 个加 2 个 off-cycle);CAGI1–5 共 50 个挑战、738 份提交 | †(未核实) | 新一轮 | ● 活跃 | 新:约每 2–3 年一届,每届 12–14 个挑战;真值由数据提供者给出,不专设湿实验;新真值只能通过参加下一届获得 | 不需要 |
| 14 | PubMedQA | PQA-L 1.0k 专家标注(测试 500)、PQA-U 61.2k、PQA-A 211.3k | 仅维护 | ○ 冻结 | 静态:无;固定的专家标注文本数据 | 不需要 | |
| 15 | CAMEO | 2024-01 至 2025-06 共 76 周选出 12,205 个目标,约 160 个/周 | †(未核实) | — 无后续事件†(未核实) | ● 活跃 | 新:每周;真值为新发布的 PDB 结构,约 160 个/周,不是为本评测专门测定 | 不需要 |
| 16 | GUE + Nucleotide Transformer 基准 | GUE 28 个数据集(另 GUE+ 8 个);NT 18 个任务,修订版 532,064 行;Genomic Benchmarks 9 个数据集 | 数据发布 | ◐ 低频 | 静态:无;复用 ENCODE 等公开数据 | 不需要 | |
| 17 | CAFA | CAFA2:126 个方法、3,681 个蛋白;CAFA5:1,600 余队;CAFA6 评估集规模未公布 | †(未核实) | 新一轮†(未核实) | ● 活跃 | 累积:每 2–3 年一届;新真值是数据库积累的实验 GO 注释,非新实验,只能通过参加下一届获得 | 不需要 |
| 18 | LAB-Bench / LABBench2 | 原版 2,457 题、30 个子任务;LABBench2 1,912 个任务、11 类,无多选 | 仅维护 | ● 活跃 | 静态:无;题目由组织方内部编写,按版本修订 | 不需要 | |
| 19 | PMO (Practical Molecular Optimization) | 23 个 oracle、10,000 次调用预算、5 个随机种子,原文比较 25 种算法。 | 新版本†(未核实) | ◐ 低频 | 静态:无湿实验;真值全部是计算 oracle 函数。 | 不需要 | |
| 20 | CACHE | 第 1–8 轮,每轮 1 个靶点、每队 ≤100 个化合物;第 5 轮共 2,031 个、第 6 轮 1,344 个。 | †(未核实) | 数据发布†(未核实) | ● 活跃 | 新:是:约每年 2 轮,每轮 1,300–2,000 个化合物加 300–600 个类似物,由实验室实测。 | 不需要 |
| 21 | DREAM5 / BEELINE / CausalBench | DREAM5:4 个网络、35 种方法;BEELINE:12 个算法、400 多个模拟数据集;CausalBench:2 个 CRISPRi 数据集、20 万以上样本。 | †(未核实) | 论文修订†(未核实) | ◐ 低频 | 静态:否:DREAM5 当年对 53 条新预测做过一次实验检验,23 条获支持;此后无新增。 | 不需要 |
| 22 | CAPRI | 累计 60 多轮、160 多个靶点;CASP16-CAPRI(Round 57)34 个靶点,Round 65 为 54 个靶点。 | †(未核实) | 新一轮 | ◔ 本轮进行中 | 新:随联合轮次约每两年一轮,每轮 30–40 个靶点;真值是结构生物学家发表前提供的实验结构,非专门测定。 | 不需要 |
| 23 | BioASQ | 14b:训练 5,729 题、测试 280 题(4 批)、151 个系统、821 次提交。 | †(未核实) | 结果公布 | ● 活跃 | 累积:否:每年新增约 280 道专家出题,真值是专家标注的文献,不是湿实验数据。 | 不需要 |
| 24 | 虚拟细胞挑战赛与扰动预测评测 | VCC 2025:约 30 万细胞、300 个扰动、300 多支终提交队;VCC 2026:六个细胞系,细胞数未公布。 | 新一轮†(未核实) | ● 活跃 | 新:是,年度:组织方自行做 Perturb-seq;2025 届约 30 万细胞,2026 届细胞数未公布。 | 不需要 | |
| 25 | RNA-Puzzles | Round V:23 个 puzzle、18 组;CASP16 核酸 42 靶;Kaggle 私榜 20 靶。 | 新一轮†(未核实) | ◐ 低频 | 新:轮次制,每轮 12–42 靶,真值为发表前提供的实验结构;新真值只能通过参加下一轮获得。 | 不需要 | |
| 26 | FLIP / FLIP2 | 第一代 3 个 landscape、15 个切分;第二代新增 7 个数据集、16 个预定义切分。 | 新版本†(未核实) | ◐ 低频 | 静态:不做新实验;复用已发表的深度突变扫描与热稳定性数据。 | 不需要 | |
| 27 | Polaris / ASAP / OpenADMET | 抗病毒挑战:3 个赛道、66 个参赛方、381 次提交;OpenADMET 后续挑战不计入本条目 | 新版本†(未核实) | ◐ 低频 | 新:承办挑战的真值是真实项目未发表实测与新晶体结构,赛后揭盲;新真值只能通过参加下一场挑战获得 | 不需要 | |
| 28 | Adaptyv competitions / BenchBB | 首轮 1,857 份提交、约 600 条实测;2025 轮实测 1,196 条;2026 联合赛 1,320 条、16 个靶点;BenchBB 7 个靶点。 | †(未核实) | 新一轮 | ● 活跃 | 新:每季度一轮,每轮约 300–1,200 条序列,由主办方自动化实验室实测。 | 断言真实泛化时需要 |
| 29 | BixBench | 初版 53 个 capsule、296 题;修订版约 61 个 capsule、205 题。 | †(未核实) | 榜单条目†(未核实) | ● 活跃 | 静态:无实验;版本更新是过滤式修订,不新增数据。 | 不需要 |
| 30 | PLINDER / PINDER / Runs N' Poses | PLINDER 449,383 个系统;PINDER 2,319,564 个二聚体;Runs N' Poses 2,073–2,600 个系统。 | †(未核实) | 新版本†(未核实) | ● 活跃 | 累积:不产生新实验数据;随 PDB 周更新复用实验结构。 | 不需要 |
补充收录的 14 项
| NN | Benchmark | 规模 | 首发 | 最近更新 | 状态 | wet lab 更新 | 需自补 wet lab |
|---|---|---|---|---|---|---|---|
| 31 | FoldBench | 摘要口径 1,522 个组装体、9 个任务;正文与仓库分任务计数分别合计 1,823 与 1,819。 | 榜单条目 | ◐ 低频 | 静态:固定的已沉积 PDB 结构集;无湿实验,也无扩充计划。 | 不需要 | |
| 32 | CrossDocked2020 | 原始 2,250 万条对接姿态;生成切分约 10 万训练复合物与 100 个测试口袋。 | †(未核实) | 数据发布†(未核实) | ○ 冻结 | 静态:无实验;全部为计算对接姿态与软件打分。 | 断言真实泛化时需要 |
| 33 | PoseX | PoseX-SD 718 条;PoseX-CD 1,312 条(109 个靶点、371 个结构、362 个小分子) | 论文修订 | ● 活跃 | 静态:使用 2022–2025 年已公开 PDB 条目;无湿实验 | 不需要 | |
| 34 | AbBiBench | 216,560 条测量、13 个抗体、9 个抗原(v3 摘要);HF 副本约 215,699 行。 | 论文修订 | ● 活跃 | 静态:复用已发表的结合测量;新实验仅一次 21 个候选的反应性测试。 | 不需要 | |
| 35 | FLAb / FLAb2 | FLAb2 摘要:7 类性质、32 项研究、超 400 万条记录、30 个模型;仓库 README 口径不同。 | 仅维护 | ● 活跃 | 累积:社区投稿已发表的 assay 数据;维护方不自建新实验。 | 断言真实泛化时需要 | |
| 36 | AIntibody | 29 个机构提交 511 条序列、三项任务;实际受测的唯一序列少于 511。 | 数据发布 | ◐ 低频 | 新:每届新测:亲和力用 HT-SPR 与 KinExA 两法,可开发性五项由独立实验室按统一协议执行。 | 不需要 | |
| 37 | TraitGym | 孟德尔集 338 个变异(113 性状);复杂性状集 1,140 个(83 性状);各配 9 个匹配对照。 | 仅维护†(未核实) | ◐ 低频 | 静态:复用公开的 OMIM 与 UK Biobank fine-mapping 结果,不新增变异。 | 不需要 | |
| 38 | BEND | 原版 7 个任务,样本 285 至 2,005,617,序列 512 至 100,096 bp;2.0 为 8 个任务、5 个实验数据集。 | 新版本 | ● 活跃 | 静态:复用已发表的基因组注释与功能基因组数据,不新增实验。 | 不需要 | |
| 39 | RNAGym | 70 个 DMS assay(超 100 万突变);90.1 万条化学探测反应性谱;215 个 PDB 三级结构。 | 榜单条目†(未核实) | ● 活跃 | 静态:复用已发表的 DMS 与化学探测实验,不新增。 | 不需要 | |
| 40 | MotifBench | 30 道题,按 motif 片段数分三组各 10 题;每题要求 100 个支架。 | 榜单条目 | ● 活跃 | 静态:纯计算评测;参考支架取自实验结构,评测本身不含湿实验。 | 断言真实泛化时需要 | |
| 41 | BioML-bench | 四个领域;任务取自公开竞赛与数据集,一份后续报告称 24 个任务。 | 论文修订 | ◐ 低频 | 静态:不产生新实验数据;任务与真值均来自既有公开竞赛与数据集。 | 不需要 | |
| 42 | BioMysteryBench | 研究页 99 题(76 人类可解、23 人类未解);数据集卡片标完整集 90 题,公开 preview 5 题。 | 榜单条目†(未核实) | ● 活跃 | 静态:不新增湿实验;题目用已有测序数据,答案由正交实验或元数据验证。 | 不需要 | |
| 43 | Ginkgo GDPa1 | 公开 246 个临床抗体、10 项 assay;私有留出 80 个抗体;预测 5 个性质;113 支队伍。 | †(未核实) | 数据发布†(未核实) | ◐ 低频 | 新:留出的 80 个抗体为竞赛专门测定,一次性;非常设轮次。 | 不需要 |
| 44 | FS-Mol | 5,120 个 assay、233,786 个化合物、489,133 次测量;训练 4,938、验证 40、测试 157 个任务。 | 已归档†(未核实) | ○ 冻结 | 静态:不新增实验数据;取自 ChEMBL27,官方未发布后续版本。 | 断言真实泛化时需要 |
数字口径说明
- 首发取最早可证的公开证据(论文 v1、官方公告、首次公开发布或开赛),不用仓库创建日、报名截止日;只知年份就只写年份。
- 最近更新是最近一次有出处的事件,不表示此后没有更新;带 † 的日期未核实。
- 规模按版本分列,不同版本的数字不相加。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。