基准、评测与数据格式
一句话结论
- 基准的可信度取决于真值来源与"是否与训练集同源"，而不是榜单本身。CASP 的靶点来自尚未公开的实验结构，天然前瞻盲测；回顾式基准（PDBbind / PDBbind+/CASF、MoleculeNet、Therapeutics Data Commons）则大量存在训练-测试泄漏。对含 22 项 TDC 与 9 项 MoleculeNet 在内的 51 个基准配置做审计，发现多数存在冲突标签与训练测试泄漏 [20]。
- 共折叠模型的强结果有相当部分是记忆。Runs N' Poses 用 2021-09-30 之后发布的约 2,600 个蛋白-配体体系测 AlphaFold3、Chai-1、Protenix、Boltz-1，性能随与训练集相似度下降而下降 [7]；DockGen 按 ECOD 域切分后，DiffDock 类 ML 对接成功率仅 7.1%，DiffDock-L 提升到 22.6%（二手转述）[9]。
- 蛋白设计与虚拟细胞领域，"出题方=判卷方=服务商"是结构性问题。BenchBB（7 靶点）、Proteinbase（上线时 1,000+ 蛋白，ODC-BY）、Adaptyv 蛋白设计竞赛 的湿实验真值全部来自 Adaptyv Bio 单一实验室；Arc Virtual Cell Challenge 的评测集由 Arc Institute 自产（约 30 万 H1 细胞 / 300 个 CRISPRi 扰动），评分中途被发现 MAE 可被投机，临时增设 Generalist Prize [26]。
- 科学 agent 基准正从"知识"转向"动作"，且迅速饱和。LAB-Bench 2,457 题、8 类 30 子任务（公开约 80%、私留 20% 监测污染）；BixBench 约 300 开放题 / 53 场景，初版最佳模型约 17%，其 Verified 子集已被报 92%（供应商自报）[30][31]。
- 格式层高度收敛，但"实验到模型"的元数据仍碎：结构=PDBx/mmCIF（2014 年成为 Protein Data Bank (wwPDB) 标准归档格式）[35]；单细胞=AnnData（JOSS 2024）[36]；ML 元数据=Croissant 元数据（MLCommons，JSON-LD）[37]；仪器层=SiLA 2（gRPC）、Allotrope ADF / ASM（ADF=HDF5+OWL）[38]。三者之间未见被验证的统一映射（推断）。
基准的真值从哪来
按真值来源分四类，防泄漏机制各不相同：
| 类型 | 真值来源 | 代表 | 防泄漏机制 |
|---|---|---|---|
| 前瞻盲测（实验在预测之后） | 尚未公开的实验结构或新测定数据 | CASP（两年一届）、CAMEO（每周）、CACHE Challenges | 靶点在 PDB 发布前提供，预测提交后才公开 |
| 运营方自产湿实验 | 运营方实验室定向测定 | BenchBB、Proteinbase、Protein Engineering Tournament、Arc Virtual Cell Challenge、ASAP-Polaris-OpenADMET | 评测集先不公开；Polaris 竞赛为 held-out 且盲 |
| 回顾式整理公共数据 | 文献/数据库历史数据（PDB、ChEMBL、DMS 论文） | ProteinGym、MoleculeNet、Therapeutics Data Commons、PLINDER、PoseBusters、Runs N' Poses | 时间切分、相似度聚类切分；仍易泄漏 |
| 专家出题 / 复现任务 | 人工命题、论文复现 | LAB-Bench、BixBench、ScienceAgentBench、HLE | 私留子集（LAB-Bench 20%）、答案不公开 |
结构与对接
- CASP：CASP16 于 2024-05-01 至 07-31 释放靶点，建模季 2024-08-31 结束；约 100 个研究组，官网称 300 个靶点 / 80,000+ 模型。类别含单蛋白、复合物、精度估计、核酸、蛋白-小分子、构象系综、整合建模。靶点来自尚未公开的晶体、NMR、cryo-EM 结构。CASP16 无亲和力赛道（官网类别列表未列）。官网同页写"five prediction categories"与列表七类不一致；CASP 经费状态未查到 [1]。
- CAMEO：2012 年起每周对结构预测服务器做盲评，利用 PDB 发布周期选取尚未公开的靶点，现已覆盖复合物与配体结合位点 [2]。
- PoseBusters：Python 包 + 基准集，用 RDKit 做物理合理性检查；结论是深度学习对接"物理上常不合理"，且无一在合理性或分布外泛化上超过经典对接 [3]。基准集 V1=428 个 2021 年及以后释放的复合物，V2=308；成功标准为口袋对齐配体 RMSD<2 Å；AlphaFold3 报告 V1 约 76.4%（给定口袋信息 90.2%，二手）[4]。
- PLINDER：449,383 个蛋白-配体体系，每体系 500+ 注释，含蛋白/口袋/相互作用/配体四层相似度及 apo/预测结构配对；用相互作用相似度而非仅 PDB ID 做切分 [5][6]。
- Runs N' Poses / DockGen：见"局限与争议"。追加发现是物理对接工具（Attracting Cavities、Vina）在新配体/新口袋上优于共折叠 [8]。
蛋白功能与设计
- ProteinGym：仓库当前口径=217 个 DMS 取代类 assay、约 270 万错义变异、2,525 个临床蛋白；另有 indel 基准约 30 万突变 / 74 个 DMS；原 NeurIPS 2023 论文口径为 250+ assay / 270 万序列 / 约 6.5 万临床标注；另有论文引 v1.3 约 240 万变异，未能裁决 [10][11]。运营方为 Marks Lab（哈佛）与 Oxford OATML，数据发布在 AWS Open Data。真值=已发表 DMS 实验（回顾式），未预注册。
- BenchBB：Adaptyv 策划的 7 个蛋白靶点，用于可大规模湿实验验证的 binder 设计基准；靶点只给 PDB ID，未明确定义精确序列 [12]。
- EGFR 竞赛（BenchBB 前身）：公司口径 1,857 份提交、600 个被实测、60 个新 binder；Cradle 的写作称 130 位设计者、1,131 个 binder，两方口径未调和；一轮命中率 5/201（2.5%）[12][13][14]。
- Proteinbase：2025-10 上线；起步 1,000+ 个新蛋白（上线时口径，现行条目数未回源 ⚠️），均由 Adaptyv 实验室按标准协议测，附计算预测与设计方法，结构经 Boltz-2 预测流水线标注，许可 ODC-BY。Nipah 竞赛 1,200 个蛋白、99 个新 binder、26 个达单位数纳摩尔或更优（公司口径，二手）[15]。
- Anthropic×Adaptyv 竞赛：2026-09-28 至 10-31 提交、11-30 实验验证、12-15 公布结果（预期日程，可能变）；Claude 额度至多 $100 万、Modal 算力 $25 万、5,000+ 蛋白免费实测。被测集合为赞助方选定子集而非随机，命中率不能代表全体设计 [16]。前期 Anthropic 蛋白 binder 实验 为 1,320 设计 / 354 binder = 26.8%（总体口径），验证花费未披露；未见独立评估。
- Protein Engineering Tournament（Align to Innovate 相关，运营为 Align Foundation）：2023 试点为淀粉酶，30 队，结果发表于 Proteins；2025 版以 PETase 为靶，预测阶段 2025-11-03 至 12-23，已注册 290+ 队 / 40 国，赞助含 Twist、Modal、EvolutionaryScale，实验全由 Align 承担。结果与胜者未查到 [17]。这是少数"预测阶段+生成阶段+统一湿实验"的设计，运营方非商业服务商。
小分子与 ADMET
- MoleculeNet：Chem. Sci. 2018，论文口径 17 个数据集、70 万+ 化合物，随 DeepChem 发布 [18]。
- TDC：原论文口径 66 个 AI-ready 数据集 / 22 个学习任务；官网现列 8 组排行榜；ADMET 组 22 端点、scaffold split [19]。
- Polaris：开放科学、跨行业的药物发现基准平台，Valence Labs、Recursion、AstraZeneca 等参与；托管数据集如 BELKA-v1（Leash Bio，约 9,930 万分子）、adme-fang-v1（Biogen，3,521 条）、RxRx3-core（Recursion）[21]。
- ASAP-Polaris-OpenADMET 抗病毒挑战：组织者为 OMSF、ASAP Discovery、Polaris、OpenADMET，NIH 支持；对象为 SARS-CoV-2 与 MERS-CoV 主蛋白酶；三个子挑战（效力、ADMET、3D 配体姿势）；66 队（另一报道 381 份模型提交）；评分用 ASAP 真实药物项目的盲留数据；溶解度与代谢清除仍难 [22]。
- CACHE：Conscience 运营的前瞻"条件式"hit-finding 竞赛。第 1 轮每队提名至多 100 个可购化合物，第 2 轮 hit 扩展至多 50 个，用 SPR 等测定。Challenge #1（LRRK2 WDR）23 队，1,955 个预测分子中 73 个 KD<150 µM，第 2 轮 7 个化学系列确认；Challenge #2（NSP13）全体选 1,957 个化合物自 Enamine 订购；Challenge #5（MCHR1）2026-08-18 公布 [23]。
- FEP 基准（OpenFE / Schrödinger FEP 基准）：Schrödinger（FEP+ / Bunsen） 2023 公共基准集（Ross 等，Commun. Chem.）；OpenFE 2024 行业基准复算：59 个体系、876 个配体、近 1,200 个变换、7,000+ 次计算，结论是 FEP+（逐体系调参）整体优于 OpenFE（默认设置）[24]。早期 Schrödinger JACS 集=8 靶点 / 199 配体 / 330 变换；Hahn 等另一集 599 对，二者常被混淆。
单细胞与扰动
- Virtual Cell Challenge：2025-06 发起，新生成 H1 hESC 约 30 万细胞 / 300 个 CRISPRi 扰动；参赛者用其他细胞类型训练预测 H1；指标=差异表达得分（DES）+ 扰动区分得分（PDS）+ MAE。年底公布：5,000+ 注册 / 114 国 / 1,200+ 队；总冠军 BioMap（百图生科）（BM_xTVC），Altos Labs 获 Generalist Prize（第三方转述）[26]。2026 版为多细胞系零样本，不发训练集，奖金 $10 万，日期说法不一，需以官方页为准。
- PerturBench：Altos Labs（后加 UCL），arXiv 2408.10609；发现简单架构有时优于复杂模型、部分模型有模式塌缩，主张在 RMSE 之外报告排序指标，其排序指标被 VCC 采用 [27]。
- scPerturb：整合 44 个公开单细胞扰动数据集，统一 QC，提出 E-distance；Nature Methods 2024 [28]。
- 线性基线警示：Ahlmann-Eltze 等（Nature Methods 2025-08-04）：5 个基础模型 + 2 个深度模型无一优于"不变"与"加和"这类简单基线 [28]。
- cz-benchmarks（Chan Zuckerberg Biohub，与 NVIDIA 共建开源 Python 包，2025-10 宣布）：初版 6 个单细胞任务（聚类、细胞类型分类、跨物种整合、扰动表达预测、序贯排序、跨物种疾病标签迁移）；计划加留出评测集、影像与变异效应预测 [29]。
科学 agent / LLM 基准
- LAB-Bench（FutureHouse / Edison Scientific，arXiv 2407.10362）：2,457 题、8 类 30 子任务，GitHub 公开约 80%，20% 私留监测污染；后继 LABBench2 约 1,900 任务，各子任务模型准确率较原版低 26–46 个百分点 [30]。
- BixBench（arXiv 2503.00096）：53 个分析场景、近 300 开放题；初版最佳约 17%，选择题不优于随机。后续 Phylo 全集评测：Biomni Lab 52.2%、Edison Analysis 42.4%、Claude 编码 agent（Opus 4.6） 39.5%；Verified-50 子集被报 92%（供应商自报，作者论"饱和"）；BixBench3（Edison，2026-08，20 任务 / 138 产物，13 模型 0.00–0.48，未经同行评议）[31]。
- ScienceAgentBench：102 任务，取自 44 篇同行评议论文，4 个学科，9 位专家校验 [32]。
- HLE：2,500 题，CAIS×Scale AI，2025-01 发布；FutureHouse 2025-07 估计其文本型化学/生物题约 30% 答案可能有误，HLE 团队部分复现并拟建持续修订 [33]。
- 评动作 vs 评知识：LAB-Bench/HLE 属知识与推理；BixBench、ScienceAgentBench 要求执行代码并解读真实数据，属动作，但真值仍是预先写定的答案，无湿实验闭环。把评测接入实验的是 VCC、Protein Engineering Tournament、Proteinbase 竞赛数据，瓶颈是湿实验产能与轮次周期（以月计）。
基准总表
| 名称 | 领域 | 真值来源 | 规模 | 盲测/预注册 | 运营方是否同时是服务商 | 来源 |
|---|---|---|---|---|---|---|
| CASP | 蛋白结构 | 未公开的实验结构 | CASP16：约 100 组 / 300 靶点 / 80,000+ 模型 | 前瞻盲测；未见预注册 | 否（UC Davis 预测中心） | [1] |
| CAMEO | 结构服务器 | 即将发布的 PDB 靶点 | 每周 | 前瞻盲测 | 否 | [2] |
| PoseBusters | 对接 | 2021 年后释放的 PDB 复合物 | V1 428 / V2 308 | 回顾式（时间切分） | 否 | [3] |
| PLINDER | 蛋白-配体 | PDB | 449,383 体系 | 回顾式（相似度切分） | 否 | [5] |
| Runs N' Poses | 共折叠泛化 | 训练截止后 PDB | 约 2,600 体系 | 回顾式（时间+相似度分层） | 否 | [7] |
| DockGen | 对接泛化 | PDB（ECOD 域切分） | 未核 | 回顾式 | 否 | [9] |
| ProteinGym | 蛋白适应度 | 已发表 DMS | 217 assay / 约 270 万变异 | 回顾式；无预注册 | 否（学术） | [10] |
| BenchBB | binder 设计 | Adaptyv 自产湿实验 | 7 靶点 | 评测集先不公开；无预注册 | 是（Adaptyv Bio） | [12] |
| Proteinbase | 蛋白实测库 | Adaptyv 自产湿实验 | 1,000+ 蛋白（上线时 ⚠️） | 无预注册 | 是 | [15] |
| Adaptyv 蛋白设计竞赛 | binder 设计 | Adaptyv 湿实验 | 5,000+ 蛋白免费实测 | 被测集为赞助方选定子集 | 是 | [16] |
| Protein Engineering Tournament | 酶工程 | Align 统一湿实验 | 290+ 队（2025） | 两阶段竞赛 | 否（非营利） | [17] |
| MoleculeNet | 分子性质 | 文献/数据库 | 17 数据集 / 70 万+ 化合物 | 回顾式；有泄漏 | 否 | [18] |
| Therapeutics Data Commons | 治疗学任务 | 公共数据 | 66 数据集 / 22 任务 | 回顾式；有泄漏 | 否 | [19] |
| Polaris | 药物发现 | 企业/联盟数据 | 平台型 | 竞赛 held-out 盲测 | 否（联盟，含 Recursion 等企业赞助） | [21] |
| CACHE Challenges | hit-finding | 前瞻 SPR 等测定 | #1：23 队 / 1,955 化合物 / 73 hit | 前瞻、多阶段 | 否（Conscience） | [23] |
| OpenFE / Schrödinger FEP 基准 | FEP | 公共配体结合数据 | 59 体系 / 876 配体 | 回顾式 | 否（OMSF 联盟） | [24] |
| Arc Virtual Cell Challenge | 扰动预测 | Arc 自产 H1 扰动 | 约 30 万细胞 / 300 扰动 | 评测集不公开 | 否，但出题方=自产数据方 | [26] |
| PerturBench | 扰动预测 | 公共数据集 | 未核 | 回顾式 | 否（Altos 为公司，同时参赛） | [27] |
| scPerturb | 扰动数据整合 | 44 个公开数据集 | 44 | 回顾式 | 否 | [28] |
| cz-benchmarks | 单细胞 | 公共数据 | 6 任务 | 计划加留出集 | 否（慈善机构） | [29] |
| LAB-Bench | 生物研究能力 | 专家出题 | 2,457 题 | 20% 私留 | 部分（FutureHouse 同时做 agent） | [30] |
| BixBench | 计算生物 agent | 专家出题 / 复现 | 约 300 题 / 53 场景 | 无 | 是（Edison Analysis 为被评产品） | [31] |
| HLE | 通用难题 | 悬赏征集 | 2,500 题 | 答案不公开 | 否 | [33] |
应用方式
- 预训练/微调：PLINDER 与 LP-PDBbind 提供防泄漏切分，用于重训 DiffDock 与亲和力模型；ProteinGym 的 DMS 数据常被用作零样本评测，也被少量用于有监督微调。
- 评测：CASP / CAMEO / PoseBusters / Runs N' Poses 是结构与对接的第三方标尺；AlphaFold3 论文以 PoseBusters 对比 Vina 与 RoseTTAFold All-Atom。
- 作为 reward / 验证：Proteinbase 与 BenchBB 把实测亲和力与表达回灌给设计模型，Anthropic×Adaptyv 竞赛以此检验 Claude 驱动流水线；cz-benchmarks 与 VCC 指标可直接作为虚拟细胞模型的训练信号（未见公开例证）。
- 谁用哪个基准发布结果：
| 发布方 | 基准 | 口径 |
|---|---|---|
| AlphaFold3 | PoseBusters | 论文自报 V1 约 76.4% |
| Chai-1、Protenix、Boltz-1 | Runs N' Poses | 第三方独立评测 |
| Boltz-2 | FEP 基准 | 二手转述，一手未核 |
| Inductive Bio | ADMET 基准 | 自述连续三届夺冠（PR 稿，公司口径）[39] |
| Biomni Lab、Edison Analysis、Claude 编码 agent | BixBench | Phylo 博客，第三方自评 [31] |
| BioMap（百图生科） 等参赛队 | Virtual Cell Challenge | 官方榜单，转述 [26] |
- 闭源商用 ADMET 平台多以公司口径宣布成绩；商用结构模型主动公布的多为自家选定的基准，第三方独立评测（Runs N' Poses）往往得出更保守的结论。
格式与标准
| 标准 | 层 | 事实 | 来源 |
|---|---|---|---|
| FAIR 原则 | 原则 | Wilkinson 等，Sci. Data 2016-03，vol 3, 160018，强调机器可读、可自动发现与复用（原则条数未核） | [34] |
| PDBx/mmCIF | 结构 | 2014 年成为 Protein Data Bank (wwPDB) 标准归档格式；旧 PDB 格式 2012 年后冻结，无法表示 >62 链或 >99,999 原子的条目 | [35] |
| AnnData / h5ad | 单细胞矩阵 | scverse 项目，NumFOCUS 赞助；JOSS 9(101):4371，2024-09 发表；磁盘格式 h5ad / Zarr（Zarr 细节未核） | [36] |
| Croissant 元数据 | ML 数据集元数据 | MLCommons，JSON-LD，基于 Schema.org，Apache 2.0，四层（元数据、资源、结构、语义），含 Croissant-RAI 扩展；参考库 mlcroissant；1.1 版本未确认 | [37] |
| SiLA 2 | 仪器通信 | gRPC，机器可读指令描述；被批评 schema 设计期固定、无运行时能力协商 | [38] |
| Allotrope ADF / ASM ADF / ASM | 分析数据 | ADF=HDF5 二进制 + OWL 2 本体；ASM 另列为独立数据格式 | [38] |
| LabOP | 协议 | Bioprotocols 工作组维护；RDF/OWL，同时表示协议及其执行记录 | [38] |
| ISA、MIAME/MINSEQE、Bioschemas、FASTA/FASTQ、SBML | 实验元数据/序列/模型 | 一手内容未取回，仅列名，不给数字 | 未查到 |
分层关系（二手综述）：SiLA 2 / OPC UA LADS 管设备层，Allotrope、LabOP 管本体与数据层；"设备通信标准不描述实验科学意图" [38]。
基准运营方与格式的开放程度：
| 项目 | 获取方式 | 许可 / 成本 |
|---|---|---|
| ProteinGym | GitHub / AWS Open Data | 开源免费 |
| PLINDER | pypi plinder |
开源 |
| Proteinbase | 公开 | ODC-BY，免费 |
| LAB-Bench | GitHub + Hugging Face | 免费 |
| 对参赛者的湿实验（BenchBB、Anthropic×Adaptyv） | 竞赛报名 | 对参赛者免费实测，由赞助方出资（公司口径）；Anthropic 竞赛含 $100 万 Claude 额度 + $25 万算力 |
| CACHE #1 | 竞赛 | 化合物自 Enamine 购买，价格未查到 |
| VCC | 竞赛 | 奖金 $10 万（2026 版）；数据生成成本未公布 |
| CASP16 | 预测中心 | 运营预算未查到 |
基准层面的真值与计算成本比未取得可靠数据，不推断。
局限与争议
- 泄漏的审计证据（见 数据泄漏（训练-测试泄漏））：
| 证据 | 方法 | 发现 |
|---|---|---|
| 51 个基准配置审计（含 22 项 TDC、9 项 MoleculeNet）[20] | 检查标签与切分 | 多数存在冲突标签与训练测试泄漏 |
| PDBbind / PDBbind+ × CASF-2016 [25] | GEMS：去掉蛋白或配体输入的消融；LP-PDBbind 重切分 | 去掉蛋白或配体信息后部分模型表现相当；重切分后重训模型更诚实；CASF-2016 共 285 复合物，其中 161 个不在 LP-PDBbind 训练集 |
| Runs N' Poses [7] | 2021-09-30 之后约 2,600 体系，按与训练集相似度分层 | AF3、Chai-1、Protenix、Boltz-1 性能随相似度下降 |
| DockGen [9] | 按配体接触链的 ECOD 域切分，规避"序列低同一性但口袋近同" | DiffDock 类 ML 成功率 7.1%，DiffDock-L 22.6%（二手） |
| PLINDER [5] | 蛋白/口袋/相互作用/配体四层相似度切分 | 用 DiffDock 重训，展示不同切分差异 |
另有二手称 DiffDock 在 PDBbind 近重复上，新颖复合物成功率下降约 40 个百分点（待复核）。 2. 自己出题自己判卷：BenchBB、Proteinbase、Anthropic×Adaptyv 的运营方同时是服务商，且为单一实验室；被测集合在 Anthropic 竞赛中是赞助方选定子集；BixBench 运营方同时是被评产品方；VCC 评测集由出题方自产，评分规则中途调整。未见预注册（ProteinGym、BenchBB 均无）；仅 Polaris 竞赛与 CACHE 是 held-out 盲测，CACHE 具前瞻、第三方运营、多团队多阶段的特点。 3. 指标可被投机：VCC 的 MAE 可靠"预测均值"拉低；Ahlmann-Eltze 证明"不变/加和"基线难打败；PerturBench 建议加排序指标。 4. 饱和与答案错误：BixBench Verified 子集 92%（供应商自报）；HLE 的生物化学题有错答风险；LAB-Bench 靠 20% 私留集监测污染，但无公开的污染检测结果。 5. 缺少负结果出口：竞赛与榜单只发布胜出或命中样本，未命中的湿实验数据（见 阴性数据）几乎不回流到基准。 6. 许可与格式：Proteinbase=ODC-BY；Croissant=Apache 2.0；其余多数基准许可未核。格式层最大缺口是实验元数据（ISA/MIAME 类）与 ML 元数据（Croissant）和仪器层（SiLA/Allotrope）之间没有被验证的统一映射（推断，未见公开案例）。
口径冲突与未核实
| 说法 A | 说法 B | 采信 | 原因 |
|---|---|---|---|
| MoleculeNet "50+ 数据集" | 论文口径 17 个数据集、70 万+ 化合物 | 17 个 | 论文一手；50+ 可能指 DeepChem 生态累积 |
| TDC "22+ 任务" | 66 数据集 / 22 学习任务；ADMET 组 22 端点 | 66 / 22 任务 | "22"出现在两个层级，不得混用 |
| AF3 PoseBusters 76–80.5% | 二手 76.4%（V1，428 个）；90.2%（给定口袋） | 76.4% | 80.5% 未复核到；"训练期内 74.5%→新数据 55.8%"无一手来源，不引用 |
| BixBench "205 开放题" | 论文：近 300 题 / 53 场景 | 约 300 / 53 | 论文口径；205 可能是后续清洗版 |
| Proteinbase 规模 "1,000+ 蛋白" | 官方站点现行条目数未回源核对 | 写"上线时 1,000+"，不写现数 ⚠️ | 二手转述仅覆盖上线时口径；现数未取得一手来源 [15] |
| BixBench3 "20 任务 138 产物，13 模型 0.00–0.48" | — | 采信但标注 | Edison 自报、未同行评议 |
| LAB-Bench2 "1900+ 任务" | 核到约 1,900，且难度上调（准确率降 26–46 个百分点） | 约 1,900 | 已核 |
| EGFR 竞赛：1,857 提交 / 600 实测 / 60 新 binder | Cradle：130 人 / 1,131 binder | 并列标注 | 两方统计对象不同，未调和 |
| ProteinGym 约 240 万变异（v1.3） | 仓库当前 270 万 / 217 assay | 270 万 / 217 | 仓库为当前口径 |
| Anthropic 前期 binder 靶点 15 个 | 16 个 | 不写具体靶点数 | 仅媒体转述，各报道不一；总体 1,320 / 354 = 26.8% 采信 |
| CASP16 "亲和力第一（Boltz-2）" | 官网未列亲和力赛道 | 无亲和力赛道 | 官网类别列表未列 |
| CASP16 类别：官网 "five" | 列表七类 | 七类（列表） | 官网自相矛盾，如实标注 |
| Adaptyv 累计融资 "$51.2M" | 报道 $4000 万（A 轮） | A 轮 $40M，累计约 $4,800 万 | 种子 $800 万 + A 轮 $4,000 万可复算 |
| VCC 2026 启动时间 | 聚合站：8 月 20 日启动 | 暂不写确切日期 | 仅聚合站来源，待官方页 |
| ASAP-Polaris-OpenADMET "434 分子训练集" | 66 队 / 381 提交 | 66 队 / 381 提交 | 434 未核到 |
| "Mac1 前瞻评测 557 复合物"、"司南"、"SFE 830 VQA"、"Periodic FrontierXRD" | — | 不写 | 未核 |
未覆盖/未查到：FLIP、TAPE、MoleculeACE、BioML-bench、ISA、MIAME/MINSEQE、Bioschemas、FASTA/FASTQ、SBML 的一手细节；CASP 经费；Protein Engineering Tournament 2025 结果；Anthropic×Adaptyv 竞赛靶点。中国方面未查到以中文机构为运营方、国际公认的同类基准（VCC 总冠军 BioMap 总部在香港，按转述）。
来源
访问日期均为 2026-10-15。
- https://predictioncenter.org/casp16/
- https://www.ncbi.nlm.nih.gov/pmc/articles/PMC12750032/ （CAMEO）
- https://arxiv.org/abs/2308.05777 （PoseBusters）
- https://www.deeporigin.com/blog/alphafold-3-exciting-advance-yet-unresolved-major-issues-remain （二手）
- https://www.biorxiv.org/node/3969495 （PLINDER）
- https://pypi.org/project/plinder/0.2.21/
- https://www.biorxiv.org/content/10.1101/2025.02.03.636309.full.pdf （Runs N' Poses）
- https://www.biorxiv.org/content/10.64898/2025.12.09.693161.full.pdf
- https://www.ncbi.nlm.nih.gov/pmc/articles/PMC10925391/ （DockGen / DiffDock-L）
- https://github.com/OATML-Markslab/ProteinGym
- https://www.biorxiv.org/content/10.1101/2023.12.07.570727.full.pdf
- https://adaptyvbio.substack.com/p/introducing-benchbb-and-the-community
- https://cradle.bio/blog/adaptyv2
- https://adaptyvbio.substack.com/p/protein-optimization-102-lessons
- https://www.biopole.ch/?p=12847 （Proteinbase）
- https://intuitionlabs.ai/articles/anthropic-adaptyv-protein-design-competition-guide
- https://www.businesswire.com/news/home/20251022674952/en （Protein Engineering Tournament）
- https://arxiv.org/pdf/1703.00564 （MoleculeNet）
- https://tdcommons.ai/ ；https://astro.paperswithcode.com/paper/therapeutics-data-commons-machine-learning
- https://www.chemistryworld.com/news/benchmark-flaws-may-be-distorting-ai-drug-discovery-leaderboards/4024084.article
- https://polarishub.io/
- https://www.htworld.co.uk/?p=42657 ；https://www.cmd.ox.ac.uk/publication/2382303
- https://cache-challenge.org/node/2489 ；https://conscience.ca/?p=5365
- https://omsf.substack.com/p/the-free-energy-of-everything-benchmarking-openfe ；https://industrybenchmarks2024.readthedocs.io/en/latest/public/overview.html
- https://www.biorxiv.org/content/10.1101/2024.12.09.627482.full.pdf （GEMS）；https://arxiv.org/pdf/2606.03422
- https://arcinstitute.org/news/virtual-cell-challenge-2025 ；https://www.genengnews.com/topics/artificial-intelligence/neurips-2025-altos-labs-wins-generalist-prize-at-arcs-virtual-cell-challenge ；https://runtimewire.com/article/arc-institute-2026-virtual-cell-challenge-zero-shot
- https://arxiv.org/pdf/2408.10609 （PerturBench）
- https://pubmed.ncbi.nlm.nih.gov/38279009/ （scPerturb）；https://www.ncbi.nlm.nih.gov/pmc/articles/PMC12328236/ （线性基线）
- https://biohub.org/?p=36696 ；https://www.rdworldonline.com/czi-and-nvidia-expand-virtual-cell-push-with-open-models-and-benchmarks/
- https://github.com/Future-House/LAB-Bench ；https://futurehouse.org/articles/lab-bench-measuring-capabilities-of-language-models-for-biology-research
- https://arxiv.org/pdf/2503.00096 ；https://phylo.bio/blog/evaluating-ai-agents-in-biology ；https://arxiv.org/pdf/2608.25286
- https://researchportal.hkust.edu.hk/en/publications/scienceagentbench-toward-rigorous-assessment-of-language-agents-f/
- https://en.wikipedia.org/wiki/Humanity%27s_Last_Exam ；https://evalscope.readthedocs.io/en/latest/benchmarks/hle.html
- https://dataverse.org/publications/fair-guiding-principles-scientific-data-management-and-stewardship
- https://www.wwpdb.org/documentation/file-formats-and-the-pdb
- https://joss.theoj.org/papers/10.21105/joss.04371
- https://arxiv.org/pdf/2403.19546 （Croissant）
- https://arxiv.org/pdf/2606.03755 ；https://www.slas.org/resources/standards/ ；https://github.com/Bioprotocols ；https://ispe.org/pharmaceutical-engineering/ispeak/laboratory-automation-plug-and-play-lapp-framework-case-0
- https://www.streetinsider.com/PRNewswire/Inductive+Bio+Wins+3rd+Consecutive+AI+Drug+Discovery+Benchmark/26765853.html
本章涉及的实体
Allotrope ADF / ASM概念与方法
分析数据格式：ADF=HDF5+OWL 本体，ASM 为简化模型
FAIR 原则概念与方法
2016 年科学数据管理原则，强调机器可读、可发现与复用
SiLA 2概念与方法 · 瑞士
实验室仪器通信标准，基于 gRPC
数据泄漏（训练-测试泄漏）概念与方法
基准分数被高估的首要原因：测试样本与训练集近重复
BenchBB数据集 · 瑞士
Adaptyv 策划的 7 靶点 binder 设计湿实验基准
BixBench数据集 · 美国
计算生物 agent 基准：53 场景、近 300 开放题，已逼近饱和
CAMEO数据集 · 瑞士
每周对结构预测服务器做盲评，利用 PDB 发布周期选靶
CASP数据集 · 美国
两年一届的蛋白结构预测前瞻盲测，真值来自未公开实验结构
DockGen数据集 · 美国
按 ECOD 域切分的分子对接泛化基准
LAB-Bench数据集 · 美国
FutureHouse 生物研究能力基准：2,457 题、8 类 30 子任务
MoleculeNet数据集 · 美国
分子机器学习基准：论文口径 17 个数据集、70 万+ 化合物
OpenFE / Schrödinger FEP 基准数据集 · 美国
59 体系公共 FEP 基准及 OpenFE 行业复算
PLINDER数据集 · 欧洲
44.9 万蛋白-配体体系及基于相似度的防泄漏切分
PoseBusters数据集 · 英国
物理合理性检查包加 428/308 复合物对接基准
ProteinGym数据集 · 英国
蛋白突变适应度基准：217 个 DMS assay、约 270 万错义变异
Proteinbase数据集 · 瑞士
Adaptyv 运营的开放实测蛋白库，含计算预测与阴性结果
RNA-Puzzles数据集 · 全球
RNA 三维结构预测的社区盲测，与 CASP 并列的 RNA 参照
Runs N' Poses数据集 · 欧洲
约 2,600 个训练截止后体系，量化共折叠模型的记忆效应
Therapeutics Data Commons数据集 · 美国
药物发现 ML 数据集与排行榜集合：66 数据集 / 22 任务
PerturBench论文与基准 · 英国
扰动预测基准框架，主张在 RMSE 之外报告排序指标
AnnData工具与格式 · 欧洲
单细胞矩阵标准容器，h5ad/Zarr 磁盘格式
Biomni工具与格式 · 美国
斯坦福生物医学通用智能体及配套 BiomniBench 评测
Polaris工具与格式 · 美国
药物发现基准平台及 ASAP-Polaris-OpenADMET 盲测挑战
cz-benchmarks工具与格式 · 美国
Biohub/CZI 的单细胞评测开源包，初版 6 任务
本文为个人研究笔记，结论基于成文时可获得的公开信息；带〔估算〕〔推断〕或 ⚠️ 的数字未经独立核实。