05 PoseBusters
蛋白-配体姿态评测:RMSD 阈值加 18 项物理化学有效性检查。部分结构落在新模型的训练期内,约 80% 的成绩不能读作对新口袋的泛化率。
bench-05 · 类型 C+B · 证据 L3 · 结构/共折叠 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | PoseBusters;别名:PoseBusters V1、PoseBusters V2、PoseBusters Benchmark set;有歧义、不自动链接:PB-valid |
| 家族 | 否(V1 与 V2 是同一工具的两套集合,属版本而非家族成员。) |
| 领域 | 结构/共折叠 |
| 类型 | C+B:C 基础设施:检查器、切分工具或评测协议;B 静态数据集套件。有效性检查器工具,加两套冻结的静态复合物集 |
| 证据层级 | L3:按时间切分的回顾性评测,非盲测 |
| 发布方 | University of Oxford, OPIG group(学术实验室) |
| 首次发布 | (依据:论文预印本 arXiv 2308.05777 v1;工具包首个公开版本两天后上传 PyPI。) |
| 其他里程碑 | 预印本 v1 (arXiv 2308.05777 v1);代码发布 (PyPI 首个公开版本 0.2.2) |
| 最近更新 | ,仅维护:主分支上未发布的提交(HTML 报告,另有一次版本号提升),无标签或 release;最后一个发布版本仍为 0.6.5,两套集合未变。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告新的集合版本或新一轮评测。) |
| 规模 | V1 428 个复合物,V2 308 个,另有 85 个的易例对照集;检查 18 项。 明细:复合物数(V1) 428;复合物数(去除晶体接触配体)(V2) 308;易例对照集复合物数(Astex Diverse set) 85;有效性检查项(化学、分子内、分子间各 6 项) 18 |
| 状态 | ● 活跃:检查器被广泛使用;集合自 V2 起冻结且趋近饱和 |
| wet lab 更新 | 静态:不做新实验;复用 2021 年后公开的 PDB 复合物。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 8 个计入(自报 4 · 改协议 4);另 3 条不计入(仅引用 3) |
| 当前排名 | ≠ 不可比(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:给定蛋白与配体,预测配体姿态;同时考察几何接近晶体与物理化学是否合理。
- 真值:公开 PDB 晶体结构,限定 2021 年后发布且不在常用训练集内。
- 主指标:RMSD≤2Å 且通过全部检查的比例
- 次指标:仅 RMSD<2Å 的成功率;各类检查的通过率
- 版本陷阱:引用任何数字必须标明 V1 还是 V2、是否含有效性检查,以及取样规则(best@N 或最高置信度)。
当前排名
状态:≠ 不可比
- 指标:RMSD<2Å 且通过检查的比例(部分来源只给 RMSD)
- 评测集 / 口径:Mixed: PoseBusters V2 (308) vs Pearl post-2021-10-01 subset (297); best@5 vs top-confidence
- 快照日期:(旧:早于截至日 12 个月以上)
排名行不显示分数:5 个口径,无统一排名
说明:无官方榜单;数字全部来自论文,子集、取样规则与训练截止各不相同,部分条目与训练期重叠;个别模型因训练截止被排除,另有两例未复核。
不可比:下表按条目列出,不排名次。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Pearl | — | 不显示:口径不可比:子集与取样规则不同,排名行不显示分数。†(未核实) | RMSD<2Å 且通过检查的比例(部分来源只给 RMSD) | Mixed: PoseBusters V2 (308) vs Pearl post-2021-10-01 subset (297); best@5 vs top-confidence | 自报 | 出处 | 作者自报,取 2021-10-01 之后的子集,未见独立复现 | |
| Boltz-1x | — | 不显示:口径不可比:子集与取样规则不同,排名行不显示分数。 | RMSD<2Å 且通过检查的比例(部分来源只给 RMSD) | Mixed: PoseBusters V2 (308) vs Pearl post-2021-10-01 subset (297); best@5 vs top-confidence | 第三方 | 出处 | 由另一模型的论文团队跑出,非作者自报 | |
| Chai-1 | — | 不显示:口径不可比:子集与取样规则不同,排名行不显示分数。 | RMSD<2Å 且通过检查的比例(部分来源只给 RMSD) | Mixed: PoseBusters V2 (308) vs Pearl post-2021-10-01 subset (297); best@5 vs top-confidence | 第三方 | 出处 | 由另一模型的论文团队跑出,非作者自报 | |
| AlphaFold 3 | — | 不显示:口径不可比:子集与取样规则不同,排名行不显示分数。†(未核实) | RMSD<2Å 且通过检查的比例(部分来源只给 RMSD) | Mixed: PoseBusters V2 (308) vs Pearl post-2021-10-01 subset (297); best@5 vs top-confidence | 第三方 | 出处 | 选姿态规则与 best@5 不同,且训练截止与集内部分结构重叠 | |
| NeuralPLexer3 | — | 不显示:口径不可比:子集与取样规则不同,排名行不显示分数。 | RMSD<2Å 且通过检查的比例(部分来源只给 RMSD) | Mixed: PoseBusters V2 (308) vs Pearl post-2021-10-01 subset (297); best@5 vs top-confidence | 自报 | 出处 | 作者自报,用完整 V2 集 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。8 个计入(自报 4 · 改协议 4);另 3 条不计入(仅引用 3)。
开发方按官方口径自报(4)
- AlphaFold 3:V1 为自报官方口径;V2 的数字是第三方复算(自报,置信度高;出处)
- Chai-1:自报经多篇综述转引,未读全文;更严口径的数字是第三方复跑(自报,置信度高,未核实†;出处)
- NeuralPLexer3:只报 V2 集,指标为 RMSD<2Å 且通过物理有效性检查(自报,置信度高;出处)
- Protenix:只对早期版本成立:v1 与 v2 技术报告都未在该测试集上报分,v1 只把它的有效性判据当指标,站内矩阵对当前版本高估(自报,置信度低,未核实†;出处)
开发方自报,协议有改动(4)
- IntelliFold-2:README 只给近似值,未说明采样与选姿态规则,不宜与他人论文横比(自报,置信度中,未核实†;出处)
- Nesso-1:同句点名;姿态为粗粒度,物理有效性检查未按全原子方式执行(自报,置信度高;出处)
- Pearl:自报 best@5 加 PB-valid 口径;AlphaFold 3 取其官方 max-confidence 数字,口径混合;Boltz-2 因训练截止较晚被排除(自报,置信度中,未核实†;出处)
- TerraBind:只给三个结构集合并的柱状图,正文未单列该 benchmark 的数值(自报,置信度中;出处)
仅被引用作比较(3,不计数)
- Boltz-1 / Boltz-1x:数字出自第三方论文复跑,开发方未在此自报(第三方,置信度中,未核实†;出处)
- DiffDock:数字来自他人论文的对照表,不是开发方自报,也不等于后继版本的官方成绩(第三方,置信度中;出处)
- Vina:开发方未自报,数字全部来自他人论文;口袋已知与盲预测不可直接比较(第三方,置信度中;出处)
局限与注意
- 部分结构落在新模型的训练期内,约 80% 的成绩不能读作对新口袋的泛化率。
- 对接与共折叠输入条件不同,取样规则也不同,横向比较并不对等。
- V2 仅 308 个体系,样本量使头部几个百分点的差距不足以支撑排名。
- 集合自 V2 起冻结且趋饱和,有效性检查已被多数新模型内置满足。
- 姿态准确不等于亲和力或活性;未检出其分数与湿实验命中率关联的公开研究。
新模型怎么用
安装官方工具包,对每个复合物跑姿态预测并用它计算 RMSD 与 18 项检查,静态即可跑完,不需自补湿实验。报告须写明集合版本、是否含有效性检查、取样规则、训练数据截止日,以及与集内结构的重叠情况;只有按训练相似度分层或改用更新的时间切分,才能支持泛化结论。可搭配 PLINDER 与 PoseX。
搭配:PLINDER / PINDER / Runs N' Poses · PoseX · FoldBench · CASF-2016 · CrossDocked2020
来源
- 原论文预印本(预印本)
- 官方仓库(仓库)
- 官方工具包(PyPI)(包仓库)
- 使用本基准子集的第三方模型论文(第三方论文)
- 在完整 V2 上复算的模型论文(第三方论文)
- 共折叠模型论文,报告 V1 结果(期刊)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_update_kind | new-version | code-maintenance-only | 2026-10-03 是主分支上未打标签的提交,版本号提升提交也不是发布,不支持写成新版本。 | 依据 | 2026-11-16 |
| latest_update_desc | Repo added HTML diagnostic report (#102); 2026-09-17 version bumped 0.6.5 to 0.7.0. PyPI still shows 0.6.5 (2026-03-07). | Unreleased commits on main: HTML report (2026-10-03) and a 0.7.0 version-bump commit (2026-09-17); no tag or release object. Last tagged release and PyPI version: v0.6.5 (2026-03-07). Benchmark sets V1/V2 unchanged. | 说明与订正后的事件类型同步。 | 依据 | 2026-11-16 |
| domain | small-molecule | structure | 本轮口径决定:本条与共折叠评测统一归入结构领域。 | 依据 | 2026-11-16 |
| n_models_reported | 10 | 8 counted under the new relation taxonomy, with comparison-only citations excluded | 报告模型数按新关系口径重算,仅作比较引用的条目不计入。 | 依据 | 2026-11-16 |
| models_reported (one co-folding model) | listed as reporting this benchmark in its current versions | version-qualified: only an early version's table reports a score on this set | 版本限定:当前版本并未报告本集分数,矩阵格此前高估。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。