模型 × benchmark 配对矩阵:112 个模型、196 条关系
本文目录
112 个模型与 44 个 benchmark 之间共 196 条配对记录,其中成立 131 条。每条配对只在 pairs_v2 中声明一次,benchmark 页的"报告过的模型"、模型页的"报过的 benchmark"和本页都从它生成。截至 2026-11-16。
怎么读这张矩阵
| 关系类型 | 含义 | 计入报告数 | 条数 |
|---|---|---|---|
| 官方参赛 / 官方榜单 | 条目出现在主办方结果或榜单上,可辨识 | 是 | 38 |
| 开发方按官方口径自报 | 开发方按官方切分 / 协议报告,不在榜单上 | 是 | 31 |
| 开发方自报,协议有改动 | 开发方报告,但过滤、子集或取样与官方不同;或主办方未确认的自报参赛 | 是 | 29 |
| 第三方评测 | 只有第三方在该 benchmark 上跑过它 | 是 | 0 |
| 赛后数据复用 | 赛后复用已公开一轮的数据 | 是 | 33 |
| 仅被引用作比较 | 只作为别人表里的对照数字,或只用了工具 | 否 | 10 |
| 未证实 | 有人声称或二手转述,无法核实 | 否 | 55 |
模型名与 benchmark 名都链到实体页;单元格内是成立关系的 benchmark 编号,不计数的关系单列。
结构/共折叠(24)
小分子(21)
蛋白(26)
| 模型 | 成立数 | 成立的配对 | 不计数的配对 |
|---|---|---|---|
| AlphaProteo | 0 | — | — |
| AMPLIFY | 0 | — | — |
| BindCraft | 1 | 28 Adaptyv competitions / BenchBB(榜) | — |
| BoltzGen | 0 | — | — |
| Chai-3 | 0 | — | — |
| Claude 蛋白设计研究(通用模型 + 公开工具) | 1 | 28 Adaptyv competitions / BenchBB(赛后复用) | — |
| DPLM-2 | 1 | 15 CAMEO(赛后复用) | — |
| Dyno Psi-1 / Psi-Phi | 0 | — | — |
| ESM C | 1 | 02 ProteinGym(榜) | — |
| ESM3 | 4 | 01 CASP(赛后复用);02 ProteinGym(榜);34 AbBiBench(榜);40 MotifBench(榜) | — |
| EVOLVEpro | 0 | — | — |
| La-Proteina | 1 | 40 MotifBench(榜) | — |
| Latent-X/X2 | 0 | — | — |
| LucaOne | 0 | — | — |
| Mosaic | 1 | 28 Adaptyv competitions / BenchBB(榜) | — |
| Pinal | 0 | — | — |
| PoET-2 | 1 | 02 ProteinGym(自报) | — |
| Profluent-E1 | 3 | 01 CASP(赛后复用);02 ProteinGym(自报);15 CAMEO(赛后复用) | — |
| ProGen3 | 1 | 02 ProteinGym(榜) | — |
| ProSST | 2 | 02 ProteinGym(榜);34 AbBiBench(榜) | — |
| Proteina-Complexa | 1 | 28 Adaptyv competitions / BenchBB(改协议) | — |
| RFdiffusion2/3 | 1 | 40 MotifBench(榜) | — |
| SaProt | 3 | 02 ProteinGym(榜);26 FLIP / FLIP2(自报);34 AbBiBench(榜) | — |
| SeedProteo | 0 | — | — |
| VenusREM | 1 | 02 ProteinGym(榜) | — |
| xTrimoPGLM | 4 | 01 CASP(赛后复用);02 ProteinGym(榜);15 CAMEO(赛后复用);26 FLIP / FLIP2(自报) | — |
抗体(7)
| 模型 | 成立数 | 成立的配对 | 不计数的配对 |
|---|---|---|---|
| Germinal | 0 | — | — |
| HCAbLM | 0 | — | — |
| IgGM / IgGM-FM | 1 | 36 AIntibody(榜) | — |
| JAM / JAM-2 | 0 | — | — |
| Origin-1 | 0 | — | — |
| RFantibody | 0 | — | — |
| tFold | 0 | — | — |
基因组/RNA(9)
| 模型 | 成立数 | 成立的配对 | 不计数的配对 |
|---|---|---|---|
| AlphaGenome | 3 | 08 Basenji/Enformer test set(自报);11 ClinVar hold-out protocol(改协议);37 TraitGym(改协议) | — |
| AlphaMissense | 2 | 11 ClinVar hold-out protocol(改协议);13 CAGI(赛后复用) | — |
| BioReason | 1 | 11 ClinVar hold-out protocol(改协议) | — |
| Borzoi | 2 | 08 Basenji/Enformer test set(自报);37 TraitGym(赛后复用) | — |
| BulkFormer | 0 | — | — |
| Evo 2 | 2 | 11 ClinVar hold-out protocol(改协议);37 TraitGym(赛后复用) | 39 RNAGym(未证实) |
| NTv3 | 1 | 08 Basenji/Enformer test set(自报) | — |
| popEVE | 1 | 11 ClinVar hold-out protocol(改协议) | — |
| RIBOSPAN | 1 | 39 RNAGym(自报) | — |
单细胞(12)
| 模型 | 成立数 | 成立的配对 | 不计数的配对 |
|---|---|---|---|
| AIDO Cell | 0 | — | 09 scIB (+Open Problems)(未证实) |
| C2S-Scale | 1 | 24 虚拟细胞挑战赛与扰动预测评测(改协议) | — |
| CellFM | 1 | 24 虚拟细胞挑战赛与扰动预测评测(改协议) | — |
| Lingshu-Cell(灵枢·细胞) | 1 | 24 虚拟细胞挑战赛与扰动预测评测(赛后复用) | — |
| scGPT / Geneformer | 2 | 09 scIB (+Open Problems)(自报);24 虚拟细胞挑战赛与扰动预测评测(赛后复用) | 21 DREAM5 / BEELINE / CausalBench(未证实) |
| scPRINT-2 | 0 | — | 09 scIB (+Open Problems)(未证实);21 DREAM5 / BEELINE / CausalBench(未证实) |
| Stack | 1 | 24 虚拟细胞挑战赛与扰动预测评测(改协议) | — |
| STATE | 1 | 24 虚拟细胞挑战赛与扰动预测评测(改协议) | — |
| Tahoe-x1 | 1 | 24 虚拟细胞挑战赛与扰动预测评测(改协议) | — |
| TranscriptFormer | 0 | — | — |
| X-Cell | 1 | 24 虚拟细胞挑战赛与扰动预测评测(改协议) | — |
| xTrimoSCPerturb / scFoundation | 1 | 24 虚拟细胞挑战赛与扰动预测评测(榜) | — |
分子生成(1)
| 模型 | 成立数 | 成立的配对 | 不计数的配对 |
|---|---|---|---|
| GenMol | 1 | 19 PMO (Practical Molecular Optimization)(自报) | — |
文本与 agent(12)
每个 benchmark 被多少个模型报过
| NN | Benchmark | 计入 | 榜 | 自报 | 改协议 | 第三方 | 赛后复用 | 仅引用 | 未证实 |
|---|---|---|---|---|---|---|---|---|---|
| 01 | CASP | 15 | 3 | 0 | 0 | 0 | 12 | 0 | 1 |
| 02 | ProteinGym | 10 | 7 | 2 | 0 | 0 | 1 | 0 | 0 |
| 03 | MoleculeNet (+OGB) | 2 | 0 | 1 | 1 | 0 | 0 | 0 | 1 |
| 04 | TDC (ADMET + DTI) | 4 | 3 | 1 | 0 | 0 | 0 | 0 | 2 |
| 05 | PoseBusters | 8 | 0 | 4 | 4 | 0 | 0 | 3 | 0 |
| 06 | CASF-2016 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 07 | USPTO family (+PaRoutes) | 5 | 0 | 4 | 1 | 0 | 0 | 0 | 0 |
| 08 | Basenji/Enformer test set | 3 | 0 | 3 | 0 | 0 | 0 | 0 | 0 |
| 09 | scIB (+Open Problems) | 1 | 0 | 1 | 0 | 0 | 0 | 0 | 2 |
| 10 | GuacaMol (+MOSES) | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 11 | ClinVar hold-out protocol | 5 | 0 | 0 | 5 | 0 | 0 | 0 | 0 |
| 12 | DUD-E / LIT-PCBA | 2 | 0 | 0 | 0 | 0 | 2 | 0 | 3 |
| 13 | CAGI | 1 | 0 | 0 | 0 | 0 | 1 | 0 | 0 |
| 14 | PubMedQA | 2 | 0 | 2 | 0 | 0 | 0 | 0 | 6 |
| 15 | CAMEO | 4 | 1 | 0 | 0 | 0 | 3 | 0 | 1 |
| 16 | GUE + Nucleotide Transformer 基准 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 17 | CAFA | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 1 |
| 18 | LAB-Bench / LABBench2 | 3 | 1 | 0 | 2 | 0 | 0 | 0 | 5 |
| 19 | PMO (Practical Molecular Optimization) | 2 | 0 | 1 | 1 | 0 | 0 | 1 | 0 |
| 20 | CACHE | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 21 | DREAM5 / BEELINE / CausalBench | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 2 |
| 22 | CAPRI | 2 | 2 | 0 | 0 | 0 | 0 | 0 | 1 |
| 23 | BioASQ | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 8 |
| 24 | 虚拟细胞挑战赛与扰动预测评测 | 9 | 1 | 0 | 6 | 0 | 2 | 0 | 0 |
| 25 | RNA-Puzzles | 3 | 0 | 0 | 2 | 0 | 1 | 1 | 0 |
| 26 | FLIP / FLIP2 | 2 | 0 | 2 | 0 | 0 | 0 | 0 | 0 |
| 27 | Polaris / ASAP / OpenADMET | 0 | 0 | 0 | 0 | 0 | 0 | 1 | 2 |
| 28 | Adaptyv competitions / BenchBB | 4 | 2 | 0 | 1 | 0 | 1 | 0 | 0 |
| 29 | BixBench | 3 | 1 | 1 | 1 | 0 | 0 | 0 | 6 |
| 30 | PLINDER / PINDER / Runs N' Poses | 5 | 0 | 3 | 2 | 0 | 0 | 4 | 0 |
| 31 | FoldBench | 12 | 7 | 3 | 2 | 0 | 0 | 0 | 0 |
| 32 | CrossDocked2020 | 1 | 0 | 1 | 0 | 0 | 0 | 0 | 0 |
| 33 | PoseX | 6 | 0 | 0 | 0 | 0 | 6 | 0 | 0 |
| 34 | AbBiBench | 6 | 6 | 0 | 0 | 0 | 0 | 0 | 0 |
| 35 | FLAb / FLAb2 | 1 | 0 | 0 | 0 | 0 | 1 | 0 | 0 |
| 36 | AIntibody | 1 | 1 | 0 | 0 | 0 | 0 | 0 | 1 |
| 37 | TraitGym | 3 | 0 | 0 | 1 | 0 | 2 | 0 | 0 |
| 38 | BEND | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 39 | RNAGym | 1 | 0 | 1 | 0 | 0 | 0 | 0 | 1 |
| 40 | MotifBench | 3 | 3 | 0 | 0 | 0 | 0 | 0 | 0 |
| 41 | BioML-bench | 1 | 0 | 0 | 0 | 0 | 1 | 0 | 6 |
| 42 | BioMysteryBench | 1 | 0 | 1 | 0 | 0 | 0 | 0 | 6 |
| 43 | Ginkgo GDPa1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 44 | FS-Mol | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
零配对模型(35)
在 44 个 benchmark 上没有任何成立关系的模型,按本轮关系口径重算;旧站的同名名单按旧快照定义,不可直接对比。它们怎么自评见各自模型页的"其他评测"。
| 模型 | 领域 | 自评方式 | 主要自评项 |
|---|---|---|---|
| BioEmu-2 | 结构/共折叠 | 自建任务集 | 模型卡列出的评测方向 |
| Chai-2 | 结构/共折叠 | 仅与基线对比、湿实验验证、用户或合作方报告、自建任务集 | 抗体 / 纳米抗体湿实验战役;miniprotein 湿实验检测;抗体-抗原折叠模块自评;可开发性与多反应性自建评测 |
| HelixFold-S1 | 结构/共折叠 | 仅与基线对比、自建任务集 | 自建 PDB 界面集;采样效率 |
| Beacon(Inductive Bio) | 小分子 | 用户或合作方报告、站外公开 benchmark、自建任务集 | OpenADMET 系列盲测;Beacon-2 剂量估计;合作方微调 |
| Chemprop v2 | 小分子 | 案例研究、站外公开 benchmark | v2 论文自带任务(反应能垒、吸收波长、大规模量化属性集);下游应用(抗生素发现等) |
| Enchant v1/v2 | 小分子 | 仅与基线对比、站外公开 benchmark、自建任务集 | 公开人体药代数据集(半衰期);低数据量设置;公司内部任务集;v3 的蛋白结构质量对比 |
| KERMT | 小分子 | 仅与基线对比、自建任务集 | 药企内部 ADMET 端点组(时间切分);自建公开文献 ADMET 集与第三方公开集;相似度分桶泛化分析 |
| REINVENT 4 | 小分子 | 仅与基线对比 | 与两个同类工具的功能对照 |
| Saturn | 小分子 | 仅与基线对比、自建任务集 | 自建对接多目标优化与命中率任务;样本效率背景引用 |
| AlphaProteo | 蛋白 | 仅与基线对比、案例研究、湿实验验证 | 七靶点 binder 湿实验战役;成功率对比;后续功能实验 |
| AMPLIFY | 蛋白 | 仅与基线对比、站外公开 benchmark、自建任务集 | 留出序列库的伪困惑度;掩码残基序列恢复;无监督接触预测;无序区判别 |
| BoltzGen | 蛋白 | 仅与基线对比、案例研究、湿实验验证 | 新靶点湿实验自建评测;已知靶点对照检查;合作实验室战役;与折叠模型持平的说法 |
| Chai-3 | 蛋白 | 未披露、用户或合作方报告 | 公司表述;药企合作 |
| Dyno Psi-1 / Psi-Phi | 蛋白 | 仅与基线对比、自建任务集 | 五靶点计算过滤通过率;新闻稿比较 |
| EVOLVEpro | 蛋白 | 湿实验验证、自建任务集 | DMS 计算机主动学习对比;REGN10987 抗体工程;Cas12f、PE2、Bxb1、T7 RNAP 工程 |
| Latent-X/X2 | 蛋白 | 案例研究、湿实验验证、用户或合作方报告、自建任务集 | Latent-X mini-binder / 大环战役;Latent-X2 的 VHH / scFv 战役;可开发性面板;免疫原性评估 |
| LucaOne | 蛋白 | 案例研究、自建任务集 | 八项下游验证任务;中心法则少样本分析 |
| Pinal | 蛋白 | 自建任务集 | 计算评测 |
| SeedProteo | 蛋白 | 自建任务集 | 无条件单体生成;计算结合体设计 |
| Germinal | 抗体 | 湿实验验证、自建任务集 | 四靶点纳米抗体实验;表位核查;内部消融 |
| HCAbLM | 抗体 | 仅与基线对比、站外公开 benchmark、自建任务集 | 序列分布分析;冻结表示迁移到可开发性;新闻稿基线对比;FLAb 与 GDPa1 |
| JAM / JAM-2 | 抗体 | 仅与基线对比、湿实验验证 | 与另一闭源模型的公开数字对比;难靶湿实验自评 |
| Origin-1 | 抗体 | 仅与基线对比、自建任务集 | 与一个开源抗体设计模型的计算对比;打分模块的判别力自评 |
| RFantibody | 抗体 | 湿实验验证 | 亲和力成熟;scFv 与全长 IgG 设计 |
| tFold | 抗体 | 自建任务集 | 抗体结构时间划分测试;抗体-抗原对接测试;虚拟筛选 |
| BulkFormer | 基因组/RNA | 站外公开 benchmark、自建任务集 | 自建下游任务组;第三方泛癌突变探测;一个公开 bulk 排行榜的快照 |
| AIDO Cell | 单细胞 | 案例研究、站外公开 benchmark | 厂商自建的虚拟细胞评测;已知药物机理的复现演示 |
| scPRINT-2 | 单细胞 | 自建任务集 | "可加性"设计基准;去噪与细胞类型预测 |
| TranscriptFormer | 单细胞 | 案例研究、站外公开 benchmark、自建任务集 | 跨物种细胞类型分类;精子发生跨物种映射;人类细胞类型与疾病状态;scIB |
| Co-Scientist | 文本与 agent | 未披露、用户或合作方报告、站外公开 benchmark、自建任务集 | 站内文本与 agent 类 benchmark;Elo 与 GPQA 正确率相关性;专家评估;Elo 锦标赛 |
| Intern-S | 文本与 agent | 站外公开 benchmark、自建任务集 | 序列与分子的指令式评测;蛋白问答、显微图像与化学评测;作者自设的蛋白结合任务集 |
| Quine | 文本与 agent | 未披露、湿实验验证 | 站内文本与 agent 类 benchmark;胰腺癌细胞状态转换预测 |
| Robin | 文本与 agent | 案例研究、湿实验验证 | 干性 AMD 闭环;效应量冲突 |
| TxAgent | 文本与 agent | 仅与基线对比、自建任务集 | 五个自建评测;工具调用消融 |
| VERID | 文本与 agent | 案例研究、湿实验验证 | 数字孪生的协议案例;闭环设计的湿实验读出 |
方法说明
- 配对数据来自 pairs_v2(183 → 196 条,9 条做了显式裁定);其中 32 条的出处只是本站页面,在实体页上标为未核实。
- "成立" = 关系类型不是"仅被引用作比较"或"未证实"。
- 本页不含分数;分数与口径见各 benchmark 页的当前排名。
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。