30 PLINDER / PINDER / Runs N' Poses
把训练集相似度作为一等切分标准的对接与共折叠泛化评测基础设施。分档数字多为开发方自报且口径不一;系统定义在版本间有变;最低相似度档仅 76 个系统。
bench-30 · 类型 C+B · 证据 L3 · 结构/共折叠 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | PLINDER / PINDER / Runs N' Poses;全称:PLINDER(蛋白-配体相互作用数据集与评测)、PINDER(蛋白-蛋白相互作用数据集与评测)与 Runs N' Poses(共折叠泛化测试集);别名:PLINDER、PINDER、Runs N' Poses、RnP、PLINDER-PL50、PLINDER-TIME、PLINDER-ECOD、plinder、pinder;有歧义、不自动链接:runs-n-poses |
| 家族 | 家族条目:PLINDER †(未核实);PINDER †(未核实);Runs N' Poses †(未核实)。边界:三者同属一个组织的防泄漏评测基础设施:PLINDER、PINDER 提供训练与评测切分,Runs N' Poses 对已训练的共折叠模型做事后分层测试。 |
| 领域 | 结构/共折叠 |
| 类型 | C+B:C 基础设施:检查器、切分工具或评测协议;B 静态数据集套件。切分工具与数据资源,加分层静态测试集 |
| 证据层级 | L3:严格 OOD 的回顾性切分,无湿实验 |
| 发布方 | VantAI、NVIDIA、MIT CSAIL、University of Basel、SIB Swiss Institute of Bioinformatics(多类机构联合) |
| 首次发布 | †(未核实)(依据:族内最早成员 PLINDER 的 bioRxiv v1;PINDER 记录为 2024-07-19,Runs N' Poses 为 2025-02-07。) 成员日期依赖动态页面,见 unverified_fields |
| 其他里程碑 | 预印本 v1 †(未核实)(PLINDER bioRxiv v1);期刊上线 (Runs N' Poses 正式版刊于 Nature Structural & Molecular Biology);代码发布 (plinder 包首次上传 PyPI(pinder 首次上传为 2024-07-19)) |
| 最近更新 | †(未核实),新版本:plinder 1.0.0 发布(移除 Metaflow),之后提交仅涉及文档;pinder 0.6.0(2026-09-14)把数据托管迁至 R2。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告下一版本或新一届挑战的日期。) |
| 规模 | PLINDER 449,383 个系统;PINDER 2,319,564 个二聚体;Runs N' Poses 2,073–2,600 个系统。 明细:PLINDER 蛋白-配体系统 449,383 systems;PLINDER 每系统注释项 >500 annotations;PINDER 二聚体 2,319,564 dimers;PINDER apo 单体 47,717 monomers;PINDER AFDB 单体 42,827 monomers;PINDER 测试集 1,955 systems;Runs N' Poses 预印本系统数(preprint) 2,600 systems;Runs N' Poses 公开版系统数(Polaris) 2,073 systems;最低相似度档(0–20)系统数 76 systems |
| 状态 | ● 活跃:活跃;plinder 1.0.0 于 2026-10-09 发布 |
| wet lab 更新 | 累积:不产生新实验数据;随 PDB 周更新复用实验结构。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 5 个计入(自报 3 · 改协议 2);另 4 条不计入(仅引用 4) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:在与训练集在蛋白、口袋、相互作用和配体上都不相似的新系统上,评估对接与共折叠的泛化能力,并按相似度分档报告。
- 真值:PDB 中已发表的实验结构;Runs N' Poses 取 2021-09-30 之后发布的高分辨率系统。
- 主指标:位姿成功率(LDDT-PLI>0.8 且 BiSyRMSD<2 Å)
- 次指标:PINDER:DockQ 与 iRMSD 类指标;按训练集相似度 8 档分层报告
- 版本陷阱:PL50 切分在 v1(2024-04)与 MLSB 挑战所用 v2(2024-06)中系统定义不同,v2 改为只依赖配体距离;不同版本数字不可直接比。
当前排名
状态:▣ 榜单
- 指标:success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage
- 评测集 / 口径:Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses)
- 快照日期:
- 榜单页面
当前第一:AlphaFold3,success_rate 15.068; rmsd_success_rate 17.808; mean_lddt_pli 0.304; coverage 96.053(success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage;Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses);榜单;)
说明:PLINDER、PINDER 本身无榜单;唯一榜单是 Polaris 上的 Runs N' Poses 预览基准,绝对值远低于论文叙事且分档计数自相矛盾,不宜读作真实排序。较新模型均为自报或二手,在各自子集上评测,未排名。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| AlphaFold3 | 1 | success_rate 15.068; rmsd_success_rate 17.808; mean_lddt_pli 0.304; coverage 96.053 | success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage | Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses) | 榜单 | 出处 | 榜单第一;基准创建于 2025-02-03,图表更新于 2025-02-04,条目无单独日期 | |
| Boltz-1 | 2 | success_rate 5.556; rmsd_success_rate 9.259; mean_lddt_pli 0.250; coverage 71.053 | success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage | Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses) | 榜单 | 出处 | — | |
| Chai-1 | 3 | success_rate 4.688; rmsd_success_rate 18.750; mean_lddt_pli 0.281; coverage 84.211 | success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage | Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses) | 榜单 | 出处 | — | |
| Protenix | 4 | success_rate 1.471; rmsd_success_rate 11.765; mean_lddt_pli 0.251; coverage 89.474 | success_rate:LDDT-PLI>0.8 且 BiSyRMSD<2 的预测占比;页面另列 rmsd_success_rate、mean_lddt_pli、coverage | Runs N' Poses (Polaris preview benchmark, plinder-org/runs-n-poses) | 榜单 | 出处 | — | |
| Pearl | — | 85.2% (<2 Å, PoseBusters-valid, best@5); 70.0% at <1 Å | RMSD<2 Å 且通过 PoseBusters 有效性检查的比例(best@5) | Runs N' Poses (702-structure filtered subset, Pearl paper) | 自报 | 出处 | 口径不同(best@5,过滤后的 702 个结构子集),不能与 Polaris 榜单数字比较 | |
| AlphaFold3 | — | 74.4% (<2 Å, best@5); 61.5% at <1 Å | RMSD<2 Å 的比例(best@5) | Runs N' Poses (702-structure filtered subset, Pearl paper) | 第三方(二手) | 出处 | 二手数字,引自 Pearl 论文对照表;同表另有 Boltz、Chai-1、Protenix 结果 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。5 个计入(自报 3 · 改协议 2);另 4 条不计入(仅引用 4)。
开发方按官方口径自报(3)
- IsoDDE:技术报告在 Runs N' Poses 按训练相似度分桶自报,重点是最难的相似度桶;厂商自述,无第三方复现(自报,置信度中,未核实†;出处)
- OpenFold3:README 仅柱状图,无文本数值;方法见 preview2 技术报告(自报,置信度中,未核实†;出处)
- Pearl:论文自报;对比基线由 Pearl 团队自行重跑(自报,置信度中,未核实†;出处)
开发方自报,协议有改动(2)
- Nesso-1:同句点名的第三个结构 benchmark,指标与基线来源、过滤限定相同(自报,置信度高;出处)
- Protenix:v1 只给按训练相似度分桶的图、无汇总值;另有第三方论文给出汇总数字(自报,置信度中,未核实†;出处)
仅被引用作比较(4,不计数)
- AlphaFold 3:二手转引(第三方论文),非开发方自报(第三方,置信度中,未核实†;出处)
- Boltz-1 / Boltz-1x:依据只是本站自己的页面(未核实):转引第三方论文的数字(第三方,置信度中,未核实†;—)
- Boltz-2:依据只是本站自己的页面(未核实):转引第三方论文,并注明不可直接比(第三方,置信度中,未核实†;—)
- Chai-1:依据只是本站自己的页面(未核实):转引第三方论文(第三方,置信度中,未核实†;—)
提及但不构成配对
- Proteina-Complexa:本基准族只作为蛋白-配体训练数据出现,不构成配对(出处)
局限与注意
- 分档数字多为开发方自报且口径不一;系统定义在版本间有变;最低相似度档仅 76 个系统。
- PLINDER 切分只能约束自训模型;对训练集已固定的共折叠模型只能事后分层,相似度按共同近似训练集计算,存在轻微错配。
- Polaris 预览榜单数值与论文差距大且分档计数矛盾,不能当真实排序引用。
- 同名下并存多个子集与 best@5、best@15 等口径,跨论文数字不可横比。
- 高相似档已近饱和;无直接证据表明分数提升能转化为湿实验成功。
新模型怎么用
静态运行,无需自建湿实验。自训模型用 PLINDER-PL50 切分训练并按相似度分档报告,不只报总体;已训练的共折叠模型用 Runs N' Poses 分档。须写明数据版本与切分文件、采样种子数、选姿策略(置信度 top-1 或 best-of-N)及外部预训练模型的训练截止日,并联用 PoseBusters 的有效性检查。不适用于虚筛富集、亲和力排序与 ADMET。
搭配:PoseBusters · FoldBench · PoseX · CAPRI · CASF-2016
来源
- PLINDER 预印本(bioRxiv)(预印本)
- PINDER 预印本(bioRxiv)(预印本)
- Runs N' Poses 预印本(bioRxiv v3)(预印本)
- Runs N' Poses 正式版(Nature Structural & Molecular Biology 2026)(期刊)
- PLINDER 数据集文档(官方网站)
- PLINDER 官方仓库(仓库)
- plinder(PyPI)(包仓库)
- pinder(PyPI)(包仓库)
- Polaris 上的 Runs N' Poses 预览基准(榜单)
- MLSB 2024 挑战说明(官方网站)
- Pearl 模型论文(含 Runs N' Poses 对照表)(第三方论文)
- DockGen 论文(前身 ECOD 去泄漏切分)(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| n_models_reported | 8 | 5 counted under the new relation taxonomy (4 comparison-only citations excluded) | 报告模型数按新关系口径重算,仅作比较引用的条目不计入。 | 依据 | 2026-11-16 |
| models_reported (Nesso-1) | not listed | self-reported-modified-protocol | 复核确认该模型报告自承过滤条件与被引论文不同,归为改协议自报,离开零配对名单。 | 依据 | 2026-11-16 |
| non_pairings (Proteina-Complexa) | candidate pairing | non-pairing: used only as training data | 本基准族在该模型论文中仅作为训练数据出现,记为非配对。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。