27 Polaris / ASAP / OpenADMET
工业界牵头的基准托管平台、方法指南与盲测挑战;代表赛事是用未发表项目数据赛后揭盲的抗病毒挑战。每场挑战只覆盖单一项目与化学系列;揭盲后即成静态集;无分数到湿实验决策的证据
bench-27 · 类型 A+C · 证据 L4 · 小分子 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | Polaris / ASAP / OpenADMET;全称:Polaris 基准平台及其承办的 ASAP 抗病毒盲测挑战;别名:Polaris Hub、polaris-lib、ASAP-Polaris-OpenADMET antiviral challenge、antiviral-drug-discovery-2025;有歧义、不自动链接:Polaris、ASAP、OpenADMET |
| 家族 | 否(单一平台条目;本条目只收 Polaris 承办的挑战,OpenADMET 自办挑战不算成员。) |
| 领域 | 小分子 |
| 类型 | A+C:A 周期盲测挑战,每届新题新真值;C 基础设施:检查器、切分工具或评测协议。盲测挑战加托管平台与方法指南 |
| 证据层级 | L4:隐藏盲测,真实项目数据;无 L5 |
| 发布方 | Polaris (industry-led steering committee)、Valence Labs、ASAP Discovery Consortium、OpenADMET(多类机构联合) |
| 首次发布 | (依据:polaris-lib 首个 PyPI 发布 0.2.0(平台公开上线日期未核实)) |
| 其他里程碑 | 代码发布 (polaris-lib 0.2.0 发布于 PyPI);开赛 / 首批题目 †(未核实)(抗病毒挑战开赛(取自既有记录,未独立复核)) |
| 最近更新 | †(未核实),新版本:polaris-lib 0.13.0 发布(最后一个 release);主分支最后提交 2025-07-30;Polaris 博客 2025-01-29 后无新文。(OpenADMET 的 CYP(2026-11-05 公布)与 PXR 挑战在平台外运行,只作注)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(Polaris 未公布下一场自办挑战的时间。) |
| 规模 | 抗病毒挑战:3 个赛道、66 个参赛方、381 次提交;OpenADMET 后续挑战不计入本条目 明细:赛道(位姿、效力、ADMET)(antiviral challenge 2025) 3;独立参赛方(antiviral challenge 2025 (summary paper)) 66;提交次数(antiviral challenge 2025 (summary paper)) 381;最终榜提交(antiviral challenge 2025 (summary paper)) 93 |
| 状态 | ◐ 低频:平台仍在线;自办活动 2025 年后少见 |
| wet lab 更新 | 新:承办挑战的真值是真实项目未发表实测与新晶体结构,赛后揭盲;新真值只能通过参加下一场挑战获得 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 0 个计入;另 3 条不计入(仅引用 1 · 未证实 2) |
| 当前排名 | — 无排名(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:在未发表的工业项目数据上做前瞻预测:ADMET 终点、效力与配体位姿
- 真值:联盟内部实测的生化与 ADMET assay 及晶体结构,赛前未公开、赛后揭盲
- 主指标:位姿成功率(RMSD<2Å);效力与 ADMET 用 MAE
- 次指标:平均 RMSD;Kendall τ 排序;bootstrap 加 Tukey HSD 排名
- 版本陷阱:竞赛页与总结论文的位姿口径不同,引用须注明出处;揭盲后数据集成为静态集,与盲测成绩不可混用
当前排名
状态:— 无排名
- 指标:抗病毒挑战:位姿成功率、效力与 ADMET 的 MAE
- 评测集 / 口径:ASAP-Polaris antiviral challenge 2025 (Polaris-hosted); OpenADMET CYP/ExpansionRx/PXR boards out of scope
- 快照日期:†(未核实)
- 榜单页面
说明:按口径只收 Polaris 承办挑战;其榜单无法静态读取、总结论文匿名化条目,故不列名次;OpenADMET CYP 等榜单不作为本条目排名
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入;另 3 条不计入(仅引用 1 · 未证实 2)。
仅被引用作比较(1,不计数)
- Chemprop v2:在组织方报告中作为匿名基线出现,无逐项数值(第三方,置信度中;出处)
未证实(2,不计数)
- Beacon(Inductive Bio):公司新闻稿称在三场盲测中第一;赛事榜单匿名、无法对应到模型版本,且 ExpansionRx 与 PXR 由 OpenADMET 在 Polaris 平台之外承办,按本轮口径不属于该 benchmark,不计入(未知,置信度高,未核实†;出处)
- Boltz-2:依据只是本站自己的页面(未核实):页面称不微调即追平前列,无数值,参赛与协议未经一手核实(未知,置信度低,未核实†;—)
局限与注意
- 每场挑战只覆盖单一项目与化学系列;揭盲后即成静态集;无分数到湿实验决策的证据
- 总结论文按字母匿名所有参赛条目,公开材料无法把名次对应到公司或模型;排名说法多来自公司新闻稿
- 竞赛页写明无正式规则,外部与私有数据不受限;页面自述 bootstrap 可能低估方差
- OpenADMET 的 CYP、ExpansionRx、PXR 挑战在 Polaris 平台外运行,只作注,不算本条目的更新或排名
新模型怎么用
已揭盲数据可静态运行,无需湿实验:安装 polaris-lib,下载揭盲集,用指纹加 GBM 做基线并做 Tukey 检验;位姿赛道并用 PoseBusters。真盲测只能参加下一场挑战。可作 TDC 的外部验证,并对照 CACHE。
搭配:TDC (ADMET + DTI) · PoseBusters · CACHE · MoleculeNet (+OGB)
来源
- 抗病毒挑战竞赛页(官方网站)
- 抗病毒挑战总结论文(JCIM 2026)(期刊)
- 总结论文开放版(剑桥大学仓库,CC BY)(存档)
- polaris-lib(PyPI)(包仓库)
- Polaris 客户端仓库(仓库)
- Polaris 小分子方法指南(官方网站)
- 工业界参与盲测的通讯(Nature Machine Intelligence 2024)(期刊)
- OpenADMET 盲测挑战页(平台外活动)(官方网站)
- OpenADMET CYP 挑战结果文(仅作注)(公司博客)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_update | 2026-11-05 | 2025-06-06 | 口径决定:本条目只收 Polaris 承办挑战。2026-11-05 OpenADMET CYP 结果文未提 Polaris,属他项目事件,降为注;Polaris 自身最近有出处的事件是 polaris-lib 0.13.0。 | 依据 | 2026-11-16 |
| latest_update_desc | OpenADMET CYP Inhibition Blind Challenge winners announced (2 months, 6,000+ submissions); polaris-lib last release 0.13.0 on 2025-06-06. | polaris-lib 0.13.0 released 2025-06-06 (last release object); last main-branch commit 2025-07-30 (multi-test-set benchmark support); Polaris blog shows nothing after 2025-01-29. Note, not a Polaris update: OpenADMET ran the CYP Inhibition Blind Challenge (winners posted 2026-11-05) and the PXR challenge on Hugging Face, outside the Polaris hub. | 改写说明,使 OpenADMET 事件以注的形式出现,而不是 Polaris 的更新。 | 依据 | 2026-11-16 |
| latest_update_kind | leaderboard-entry | new-version | 该事件是库发布。 | 依据 | 2026-11-16 |
| ranking | board: OpenADMET CYP Inhibition Blind Challenge final leaderboards (top-1 per track, Boltz-2-named participant entry) | no-ranking; entries [] | 变更集 §0.6:OpenADMET CYP 榜不是 Polaris 榜单;Polaris 承办的榜单无法读取、总结论文匿名化,故无可显示排名。 | 依据 | 2026-11-16 |
| models_reported (Beacon) | Beacon first in three blind challenges (self-reported) | disputed-or-unconfirmed | 变更集 §4.1:身份无法对应、范围不属 Polaris 承办,两条理由均导致未证实。 | 依据 | 2026-11-16 |
| status | active (new challenge results published in 2026-11) | low-frequency | 2026-11 的新结果属 OpenADMET 平台外活动;Polaris 自身最后发布为 2025-06、博客最后一文为 2025-01。 | 依据 | 2026-11-16 |
| scale | ExpansionRx 370+ teams; PXR 513 test compounds; CYP 750 compounds | antiviral challenge only: 3 tracks, 66 participants, 381 submissions | 按 §0.6,OpenADMET 挑战的规模不计入本条目;参赛口径以总结论文为准。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。