模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

44 个 benchmark 的规模、更新与 wet lab 数据

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 三类 wet lab 更新方式
  2. 核心 30 项
  3. 补充收录的 14 项
  4. 数字口径说明

44 个 benchmark 的规模、首发与最近更新,以及它们是否定期产生新的 wet lab 真值。数字取自各 benchmark 记录,与实体页同源。截至 2026-11-16。

三类 wet lab 更新方式

评测一个新模型时要不要自己补 wet lab:不需要 31 项;断言真实泛化时需要 13 项。

核心 30 项

NN Benchmark 规模 首发 最近更新 状态 wet lab 更新 需自补 wet lab
01 CASP CASP16:210 个注册组(162 专家 + 48 服务器);药企配体赛道 233 个姿态靶、140 个亲和力靶。 新一轮 ● 活跃 新:每两年一届,真值为结构生物学家提供的未公开实验结构;新真值只能通过参加下一届获得。 不需要
02 ProteinGym v1.3:替换 217 条 assay、indel 74 条,临床子集 2,525 个蛋白。 †(未核实) 数据发布†(未核实) ◐ 低频 累积:不做新实验;已发表 DMS 不定期并入,近期版本主要新增基线。 断言真实泛化时需要
03 MoleculeNet (+OGB) 论文列 17 个数据集,从 FreeSolv(642)到 PCBA(437,929 个化合物);QM9 含 133,885 个分子 论文修订 ○ 冻结 静态:不新增实验;复用公开数据库,QM9 为 DFT 计算 oracle 不需要
04 TDC (ADMET + DTI) ADMET 组 22 个数据集(475–13,130 条);原论文全库 66 个数据集、22 类任务。 论文修订 ● 活跃 静态:ADMET 组无新增湿实验;数据复用 ChEMBL 与公开沉积数据。 断言真实泛化时需要
05 PoseBusters V1 428 个复合物,V2 308 个,另有 85 个的易例对照集;检查 18 项。 仅维护 ● 活跃 静态:不做新实验;复用 2021 年后公开的 PDB 复合物。 断言真实泛化时需要
06 CASF-2016 285 个复合物(57 个靶点簇 × 5 个配体),每个复合物约 100 个对接 decoy 无后续事件 ○ 冻结 静态:不新增实验;复用 PDBbind 晶体结构与文献 Kd/Ki 断言真实泛化时需要
07 USPTO family (+PaRoutes) 源库约 330 万条反应;USPTO-50K 约 5 万;MIT-480K 479,035 条;PaRoutes 两套各 1 万条路线。 数据发布 ○ 冻结 静态:无;为专利文本挖掘,非实验验证。 断言真实泛化时需要
08 Basenji/Enformer test set 人 5,313 条轨迹、鼠 1,643 条;人测试集 1,937 条序列,每条 393,216 bp。 †(未核实) 仅维护†(未核实) ● 活跃 静态:不做新实验;复用公开表观轨迹,变异任务用公开 eQTL 与 MPRA 数据。 断言真实泛化时需要
09 scIB (+Open Problems) 原论文:16 种方法、13 个任务、85 个批次、14 项指标;Open Problems 2025 版 12 个任务 新版本 ● 活跃 累积:不新增实验;Open Problems 不定期从公开图谱新增数据集与任务 不需要
10 GuacaMol (+MOSES) 5 个分布学习任务加 20 个目标导向任务;ChEMBL 24 子集训练 SMILES 1,273,104 个。 仅维护 ○ 冻结 静态:无;真值为计算 oracle 与 ChEMBL 训练集。 断言真实泛化时需要
11 ClinVar hold-out protocol 无统一版本:各论文自建子集,规模从约一万到十余万变异不等。 †(未核实) 数据发布 ● 活跃 累积:不做新实验;月度新增的是临床提交,不是新测量。 不需要
12 DUD-E / LIT-PCBA DUD-E:102 个靶点、22,886 个活性分子;LIT-PCBA:15 个靶点、7,761 个活性、382,674 个非活性(官网计数) 仅维护†(未核实) ◐ 低频 静态:不新增实验;DUD-E 用构造诱饵,LIT-PCBA 用 PubChem 实测数据 断言真实泛化时需要
13 CAGI CAGI7 共 14 个挑战(12 个加 2 个 off-cycle);CAGI1–5 共 50 个挑战、738 份提交 †(未核实) 新一轮 ● 活跃 新:约每 2–3 年一届,每届 12–14 个挑战;真值由数据提供者给出,不专设湿实验;新真值只能通过参加下一届获得 不需要
14 PubMedQA PQA-L 1.0k 专家标注(测试 500)、PQA-U 61.2k、PQA-A 211.3k 仅维护 ○ 冻结 静态:无;固定的专家标注文本数据 不需要
15 CAMEO 2024-01 至 2025-06 共 76 周选出 12,205 个目标,约 160 个/周 †(未核实) — 无后续事件†(未核实) ● 活跃 新:每周;真值为新发布的 PDB 结构,约 160 个/周,不是为本评测专门测定 不需要
16 GUE + Nucleotide Transformer 基准 GUE 28 个数据集(另 GUE+ 8 个);NT 18 个任务,修订版 532,064 行;Genomic Benchmarks 9 个数据集 数据发布 ◐ 低频 静态:无;复用 ENCODE 等公开数据 不需要
17 CAFA CAFA2:126 个方法、3,681 个蛋白;CAFA5:1,600 余队;CAFA6 评估集规模未公布 †(未核实) 新一轮†(未核实) ● 活跃 累积:每 2–3 年一届;新真值是数据库积累的实验 GO 注释,非新实验,只能通过参加下一届获得 不需要
18 LAB-Bench / LABBench2 原版 2,457 题、30 个子任务;LABBench2 1,912 个任务、11 类,无多选 仅维护 ● 活跃 静态:无;题目由组织方内部编写,按版本修订 不需要
19 PMO (Practical Molecular Optimization) 23 个 oracle、10,000 次调用预算、5 个随机种子,原文比较 25 种算法。 新版本†(未核实) ◐ 低频 静态:无湿实验;真值全部是计算 oracle 函数。 不需要
20 CACHE 第 1–8 轮,每轮 1 个靶点、每队 ≤100 个化合物;第 5 轮共 2,031 个、第 6 轮 1,344 个。 †(未核实) 数据发布†(未核实) ● 活跃 新:是:约每年 2 轮,每轮 1,300–2,000 个化合物加 300–600 个类似物,由实验室实测。 不需要
21 DREAM5 / BEELINE / CausalBench DREAM5:4 个网络、35 种方法;BEELINE:12 个算法、400 多个模拟数据集;CausalBench:2 个 CRISPRi 数据集、20 万以上样本。 †(未核实) 论文修订†(未核实) ◐ 低频 静态:否:DREAM5 当年对 53 条新预测做过一次实验检验,23 条获支持;此后无新增。 不需要
22 CAPRI 累计 60 多轮、160 多个靶点;CASP16-CAPRI(Round 57)34 个靶点,Round 65 为 54 个靶点。 †(未核实) 新一轮 ◔ 本轮进行中 新:随联合轮次约每两年一轮,每轮 30–40 个靶点;真值是结构生物学家发表前提供的实验结构,非专门测定。 不需要
23 BioASQ 14b:训练 5,729 题、测试 280 题(4 批)、151 个系统、821 次提交。 †(未核实) 结果公布 ● 活跃 累积:否:每年新增约 280 道专家出题,真值是专家标注的文献,不是湿实验数据。 不需要
24 虚拟细胞挑战赛与扰动预测评测 VCC 2025:约 30 万细胞、300 个扰动、300 多支终提交队;VCC 2026:六个细胞系,细胞数未公布。 新一轮†(未核实) ● 活跃 新:是,年度:组织方自行做 Perturb-seq;2025 届约 30 万细胞,2026 届细胞数未公布。 不需要
25 RNA-Puzzles Round V:23 个 puzzle、18 组;CASP16 核酸 42 靶;Kaggle 私榜 20 靶。 新一轮†(未核实) ◐ 低频 新:轮次制,每轮 12–42 靶,真值为发表前提供的实验结构;新真值只能通过参加下一轮获得。 不需要
26 FLIP / FLIP2 第一代 3 个 landscape、15 个切分;第二代新增 7 个数据集、16 个预定义切分。 新版本†(未核实) ◐ 低频 静态:不做新实验;复用已发表的深度突变扫描与热稳定性数据。 不需要
27 Polaris / ASAP / OpenADMET 抗病毒挑战:3 个赛道、66 个参赛方、381 次提交;OpenADMET 后续挑战不计入本条目 新版本†(未核实) ◐ 低频 新:承办挑战的真值是真实项目未发表实测与新晶体结构,赛后揭盲;新真值只能通过参加下一场挑战获得 不需要
28 Adaptyv competitions / BenchBB 首轮 1,857 份提交、约 600 条实测;2025 轮实测 1,196 条;2026 联合赛 1,320 条、16 个靶点;BenchBB 7 个靶点。 †(未核实) 新一轮 ● 活跃 新:每季度一轮,每轮约 300–1,200 条序列,由主办方自动化实验室实测。 断言真实泛化时需要
29 BixBench 初版 53 个 capsule、296 题;修订版约 61 个 capsule、205 题。 †(未核实) 榜单条目†(未核实) ● 活跃 静态:无实验;版本更新是过滤式修订,不新增数据。 不需要
30 PLINDER / PINDER / Runs N' Poses PLINDER 449,383 个系统;PINDER 2,319,564 个二聚体;Runs N' Poses 2,073–2,600 个系统。 †(未核实) 新版本†(未核实) ● 活跃 累积:不产生新实验数据;随 PDB 周更新复用实验结构。 不需要

补充收录的 14 项

NN Benchmark 规模 首发 最近更新 状态 wet lab 更新 需自补 wet lab
31 FoldBench 摘要口径 1,522 个组装体、9 个任务;正文与仓库分任务计数分别合计 1,823 与 1,819。 榜单条目 ◐ 低频 静态:固定的已沉积 PDB 结构集;无湿实验,也无扩充计划。 不需要
32 CrossDocked2020 原始 2,250 万条对接姿态;生成切分约 10 万训练复合物与 100 个测试口袋。 †(未核实) 数据发布†(未核实) ○ 冻结 静态:无实验;全部为计算对接姿态与软件打分。 断言真实泛化时需要
33 PoseX PoseX-SD 718 条;PoseX-CD 1,312 条(109 个靶点、371 个结构、362 个小分子) 论文修订 ● 活跃 静态:使用 2022–2025 年已公开 PDB 条目;无湿实验 不需要
34 AbBiBench 216,560 条测量、13 个抗体、9 个抗原(v3 摘要);HF 副本约 215,699 行。 论文修订 ● 活跃 静态:复用已发表的结合测量;新实验仅一次 21 个候选的反应性测试。 不需要
35 FLAb / FLAb2 FLAb2 摘要:7 类性质、32 项研究、超 400 万条记录、30 个模型;仓库 README 口径不同。 仅维护 ● 活跃 累积:社区投稿已发表的 assay 数据;维护方不自建新实验。 断言真实泛化时需要
36 AIntibody 29 个机构提交 511 条序列、三项任务;实际受测的唯一序列少于 511。 数据发布 ◐ 低频 新:每届新测:亲和力用 HT-SPR 与 KinExA 两法,可开发性五项由独立实验室按统一协议执行。 不需要
37 TraitGym 孟德尔集 338 个变异(113 性状);复杂性状集 1,140 个(83 性状);各配 9 个匹配对照。 仅维护†(未核实) ◐ 低频 静态:复用公开的 OMIM 与 UK Biobank fine-mapping 结果,不新增变异。 不需要
38 BEND 原版 7 个任务,样本 285 至 2,005,617,序列 512 至 100,096 bp;2.0 为 8 个任务、5 个实验数据集。 新版本 ● 活跃 静态:复用已发表的基因组注释与功能基因组数据,不新增实验。 不需要
39 RNAGym 70 个 DMS assay(超 100 万突变);90.1 万条化学探测反应性谱;215 个 PDB 三级结构。 榜单条目†(未核实) ● 活跃 静态:复用已发表的 DMS 与化学探测实验,不新增。 不需要
40 MotifBench 30 道题,按 motif 片段数分三组各 10 题;每题要求 100 个支架。 榜单条目 ● 活跃 静态:纯计算评测;参考支架取自实验结构,评测本身不含湿实验。 断言真实泛化时需要
41 BioML-bench 四个领域;任务取自公开竞赛与数据集,一份后续报告称 24 个任务。 论文修订 ◐ 低频 静态:不产生新实验数据;任务与真值均来自既有公开竞赛与数据集。 不需要
42 BioMysteryBench 研究页 99 题(76 人类可解、23 人类未解);数据集卡片标完整集 90 题,公开 preview 5 题。 榜单条目†(未核实) ● 活跃 静态:不新增湿实验;题目用已有测序数据,答案由正交实验或元数据验证。 不需要
43 Ginkgo GDPa1 公开 246 个临床抗体、10 项 assay;私有留出 80 个抗体;预测 5 个性质;113 支队伍。 †(未核实) 数据发布†(未核实) ◐ 低频 新:留出的 80 个抗体为竞赛专门测定,一次性;非常设轮次。 不需要
44 FS-Mol 5,120 个 assay、233,786 个化合物、489,133 次测量;训练 4,938、验证 40、测试 157 个任务。 已归档†(未核实) ○ 冻结 静态:不新增实验数据;取自 ChEMBL27,官方未发布后续版本。 断言真实泛化时需要

数字口径说明

  • 首发取最早可证的公开证据(论文 v1、官方公告、首次公开发布或开赛),不用仓库创建日、报名截止日;只知年份就只写年份。
  • 最近更新是最近一次有出处的事件,不表示此后没有更新;带 † 的日期未核实。
  • 规模按版本分列,不同版本的数字不相加。

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。