02 ProteinGym
把两百余条公开深度突变扫描整理成统一套件,评测蛋白变异效应与适应度排序。静态且可刷分:平均 Spearman 掩盖 assay 异质性,低于自举标准误(约 0.01)的差距没有意义。
bench-02 · 类型 B · 证据 L2 · 蛋白 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | ProteinGym;别名:ProteinGym v1、ProteinGym v1.3、PG_v1.3;有歧义、不自动链接:ProteinGym v0 |
| 家族 | 家族条目:ProteinGym v0 (inside the Tranception preprint) ;ProteinGym v1 (standalone benchmark, NeurIPS 2023 Datasets and Benchmarks) 。边界:v0 是 Tranception 预印本内的替换集;v1 起为独立基准,增加 indel 与临床子集。衍生的 ViroGym 与 R 客户端不计入。 |
| 领域 | 蛋白 |
| 类型 | B:B 静态数据集套件。静态 DMS 套件,附维护方自跑的榜单 |
| 证据层级 | L2(范围 L2–L3):回顾性;监督设定的位置切分接近 L3 |
| 发布方 | Harvard Medical School, Department of Systems Biology、University of Oxford, OATML group(学术实验室) |
| 首次发布 | †(未核实)(依据:家族最早成员:Tranception 预印本 arXiv v1 中的 ProteinGym v0;独立基准论文为 bioRxiv 2023-12-08。) 家族口径日期;独立基准首发为 2023-12-08 |
| 其他里程碑 | 最早公开证据 (Tranception 预印本中首次出现该基准名);预印本 v1 (独立基准 bioRxiv v1);代码发布 †(未核实)(仓库发布页标记的 PG_v1.3 数据版本(年份取自站内既有注记,页面只显示月日)) |
| 最近更新 | †(未核实),数据发布:仓库提交补回缺失的基准文件;此前一次提交新增临床监督评测脚本,两者均未打新版本标签。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告 v1.4 或新一代基准。) |
| 规模 | v1.3:替换 217 条 assay、indel 74 条,临床子集 2,525 个蛋白。 明细:替换型 DMS assay(v1.3) 217;替换型突变数(v1.3) 约 270 万;indel assay(v1.3) 74;indel 突变体数(v1.3) 约 30 万;临床子集蛋白数(数据卡另写 2,575)(v1.3) 2525;官方汇总表模型行数(含同一模型不同尺寸)(2026-11-16) 97 |
| 状态 | ◐ 低频:活跃但低频,最近数据版本为 v1.3(2025 年) |
| wet lab 更新 | 累积:不做新实验;已发表 DMS 不定期并入,近期版本主要新增基线。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 10 个计入(榜 7 · 自报 2 · 赛后复用 1) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:在公开深度突变扫描上做零样本与监督的蛋白适应度、变异效应排序,另设临床子集。
- 真值:已发表的 DMS 实验读数(生长、表达、结合、催化、热稳定等),临床子集用专家标注。
- 主指标:零样本平均 Spearman
- 次指标:NDCG、AUC、MCC、Top-K recall;监督 Spearman 与 MSE;临床子集 AUC
- 版本陷阱:须写明数据版本与赛道(零样本/监督/临床);不同版本 assay 数与基线不同,分数不可跨版本比。
当前排名
状态:▣ 榜单
- 指标:平均 Spearman(零样本,替换型 DMS)
- 评测集 / 口径:ProteinGym v1.3, 217 substitution DMS assays, zero-shot
- 快照日期:(旧:早于截至日 12 个月以上)
- 榜单页面
当前第一:AIDO Protein-RAG (16B),0.518 (SE 0.0)(平均 Spearman(零样本,替换型 DMS);ProteinGym v1.3, 217 substitution DMS assays, zero-shot;榜单;;旧)
本站最佳:VenusREM(第 2 名)
说明:汇总表共 97 行;差距小于约 0.01 落在自举标准误内。部分模型只有作者自报或二手数值,不在官方表上。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| AIDO Protein-RAG (16B)(非本站模型) | 1 | 0.518 (SE 0.0) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 非本站模型;并列第一;汇总表最近变更 2025-06-13,读取于 2026-11-16 | |
| VenusREM | 2 | 0.518 (SE 0.005) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 与第 1 名分数并列,差距在自举标准误内 | |
| ProSST (K=2048) | 3 | 0.507 (SE 0.006) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 该模型的其他 K 值版本分列第 4、7、10、13、28 | |
| ESM3 open (1.4B) | 14 | 0.466 (SE 0.006) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | — | |
| SaProt (650M) | 17 | 0.457 (SE 0.007) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 同一模型的 35M 版本列第 48 | |
| ESM-C (300M) | 49 | 0.406 (SE 0.013) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 同一模型的 600M 版本列第 51 | |
| xTrimoPGLM-3B-MLM | 54 | 0.399 (SE 0.012) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 该模型表现最好的版本;100B-int4 列第 74 | |
| Progen3 3B | 59 | 0.392 (SE 0.008) | 平均 Spearman(零样本,替换型 DMS) | ProteinGym v1.3, 217 substitution DMS assays, zero-shot | 榜单 | 出处 | 同一模型的 1B 版本列第 61 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。10 个计入(榜 7 · 自报 2 · 赛后复用 1)。
官方参赛 / 官方榜单(7)
- ESM C:300M 与 600M 两个条目均由维护者运行;更新版权重未见单独条目(榜单,置信度高;出处)
- ESM3:条目由 benchmark 维护者运行,对应开放小模型,不代表更大的 API 版本(榜单,置信度高;出处)
- ProGen3:零样本替换 DMS 官方汇总表收录多个尺寸档;最大一档未收录(榜单,置信度高;出处)
- ProSST:官方汇总表直接收录多个配置;它在「单序列加结构」一类里居前,但不是总榜第一(榜单,置信度高;出处)
- SaProt:官方榜条目;仓库记 2024-04 曾居首位,现已不在头部,位次随版本变动(榜单,置信度高;出处)
- VenusREM:官方汇总表直接收录;与另一检索增强模型同处头部一档,论文的 SOTA 表述属自报(榜单,置信度高;出处)
- xTrimoPGLM:多个规格被收入 ProteinGym 零样本替换官方汇总表;100B 规格不优于自家较小规格,CLM 分支明显更低(榜单,置信度高;出处)
开发方按官方口径自报(2)
- PoET-2:作者按官方协议在论文表格中自报,未在官方榜单上单独确认(自报)(自报,置信度高;出处)
- Profluent-E1:替换突变 assay 的零样本打分,仓库只给曲线图,不给逐模型数值,官方汇总表上也无条目(自报,置信度中;出处)
赛后数据复用(1)
- 前沿通用大模型:仅二手聚合的分数,家族条目而非单模型;依据仅为本站页面,未核实(第三方,置信度低,未核实†;—)
提及但不构成配对
局限与注意
- 静态且可刷分:平均 Spearman 掩盖 assay 异质性,低于自举标准误(约 0.01)的差距没有意义。
- 分数与湿实验命中率之间没有直接证据;榜上名次不代表设计或选模能力。
- 数据公开后可被针对性调参,且无时间冻结;临床子集与以同一临床库训练的预测器存在循环风险。
- 指标之间互相矛盾:Spearman 与 NDCG 在各 assay 类别选出的最优模型不同。
- 覆盖面偏倚:病毒蛋白与含无序区的蛋白上多数方法系统性掉点。
新模型怎么用
下载参考文件,对每条 assay 的突变出分并用官方脚本计分,经仓库 PR 提交;无需自补湿实验。报告须写明数据版本、赛道、是否用 MSA 或结构输入,并同报自举标准误与 NDCG,按 assay 类型与分类群分列。要支持设计命中率结论,需自做前瞻 assay。
搭配:ClinVar hold-out protocol · CAGI · FLIP / FLIP2 · RNAGym · TraitGym
来源
- 官方基准站(官方网站)
- 独立基准论文 bioRxiv(NeurIPS 2023 Datasets and Benchmarks)(预印本)
- Tranception 预印本,首次出现 v0 替换集(预印本)
- 官方工具包(PyPI)(包仓库)
- 结构输入影响的第三方分析(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_update | 2026-01-12 | 2026-03-25 | 仓库最新提交为补回缺失基准文件,晚于此前记录的临床脚本提交。 | 依据 | 2026-11-16 |
| first_release | start year 2023 | 2022-05-27 at family level (v0 in the Tranception preprint), with the standalone benchmark at 2023-12-08 and the family boundary stated | 日期审计:家族条目须区分预印本内的 v0 与独立基准,仓库创建日不得作首发。 | 依据 | 2026-11-16 |
| n_models_reported | 9 | 10 under the new relation taxonomy, counting established relations only | 本轮重算报告模型数口径,与新的关系类型一致。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。