04 TDC
ADMET 预测事实上的提交式榜单;适合方法横向筛选,不宜作研发决策依据。提交为自报,无独立复跑或合理性检查;scaffold 切分不防近邻类似物泄漏,梯度提升基线很强。
bench-04 · 类型 B · 证据 L2 · 小分子 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | TDC (ADMET + DTI);全称:治疗学数据共享库(Therapeutics Data Commons);别名:TDC、TDC-2、PyTDC、TDC ADMET Benchmark Group、Therapeutics Data Commons |
| 家族 | 家族条目:PyTDC 0.0.1 (PyPI) ;TDC paper ;TDC-2 †(未核实);PyTDC paper 。边界:TDC、TDC-2 与 PyTDC 是同一平台的软件与论文迭代;本条评测口径只指 ADMET 组与 DTI-DG 组,TDC-2 新增的多模态数据不属此口径。 |
| 领域 | 小分子 |
| 类型 | B:B 静态数据集套件。静态数据集套件加提交式榜单 |
| 证据层级 | L2(范围 L2–L3):scaffold 切分;DTI-DG 触及 L3 |
| 发布方 | Harvard Medical School (Department of Biomedical Informatics)(学术实验室) |
| 首次发布 | (依据:最早公开证据:PyPI 首个上传 PyTDC 0.0.1(2020-11-13);TDC 论文 arXiv v1 为 2021-02-18;TDC-2 bioRxiv v1 2024-06-14;PyTDC 论文 arXiv v1 2025-05-08。) |
| 其他里程碑 | 预印本 v1 (TDC 论文 arXiv 2102.09548 v1);代码发布 (PyTDC 0.0.1 上传 PyPI) |
| 最近更新 | ,论文修订:PyTDC 论文(arXiv 2505.05577,v1 2025-05-08)修订;PyPI 最新版 1.1.15 为 2025-03-31,仓库最后提交 2025-04-18。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告后续版本或 ADMET 组修订。) |
| 规模 | ADMET 组 22 个数据集(475–13,130 条);原论文全库 66 个数据集、22 类任务。 明细:ADMET 组数据集(ADMET Benchmark Group) 22 datasets;单数据集记录数(ADMET Benchmark Group) 475–13,130 records;DTI-DG 组数据集(BindingDB_Patent) 1 datasets;原论文全库数据集(TDC paper (2021)) 66 datasets;官方 benchmark 组 8 groups |
| 状态 | ● 活跃:活跃;ADMET 组数据与规则自 2021 年未修订 |
| wet lab 更新 | 静态:ADMET 组无新增湿实验;数据复用 ChEMBL 与公开沉积数据。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 4 个计入(榜 3 · 自报 1);另 2 条不计入(未证实 2) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:在 scaffold 切分下预测 ADMET 终点,另含一个药靶相互作用领域泛化任务。
- 真值:既有文献与数据库数据的拼接,非同条件统一测量。
- 主指标:按任务:MAE、AUROC、AUPRC 或 Spearman
- 次指标:5 个种子的均值与标准差;DTI-DG 用 Pearson 相关
- 版本陷阱:TDC 数据集与官方 benchmark 组不同:Davis、KIBA 不是官方组;榜单无版本与日期,不同加载器可能得到不同分子数。
当前排名
状态:▣ 榜单
- 指标:按任务:MAE、AUROC、AUPRC、Spearman(5 种子均值 ± 标准差),scaffold 切分
- 评测集 / 口径:TDC ADMET Benchmark Group, 22 datasets
- 快照日期:
- 榜单页面
排名行不显示分数:22 个官方榜均无条目日期,所有分数按诚实规则扣下,无可作头条的条目。
说明:提交为自报,无独立复跑与合理性检查,榜单无版本与日期;头部名次常在 1–2 个标准差内,梯度提升加指纹基线胜过多数预训练模型。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| MiniMol | — | 不显示:榜单条目无日期,按诚实规则不显示分数与名次。†(未核实) | 按任务:MAE、AUROC、AUPRC、Spearman(5 种子均值 ± 标准差),scaffold 切分 | TDC ADMET Benchmark Group, 22 datasets | 榜单 | —†(未核实) | 出处 | 22 个分任务榜中与 MapLight + GNN 并列第一次数最多。 |
| MapLight + GNN(非本站模型) | — | 不显示:榜单条目无日期,按诚实规则不显示分数与名次。†(未核实) | 按任务:MAE、AUROC、AUPRC、Spearman(5 种子均值 ± 标准差),scaffold 切分 | TDC ADMET Benchmark Group, 22 datasets | 榜单 | —†(未核实) | 出处 | 非本站模型;与 MiniMol 并列第一次数最多;其余第一分属多个梯度提升与集成方法。 |
| admet_ai_v2 | — | 不显示:榜单条目无日期,按诚实规则不显示分数与名次。†(未核实) | 按任务:MAE、AUROC、AUPRC、Spearman(5 种子均值 ± 标准差),scaffold 切分 | TDC ADMET Benchmark Group, 22 datasets | 榜单 | —†(未核实) | 出处 | 22 个榜中唯一标注 ADMET-AI 的提交,仅 Caco2 一项且居末位,数值疑为单位或后处理错误;论文"平均排名最佳"在现榜无对应。 |
| Chemprop-RDKit / Chemprop | — | 不显示:榜单条目无日期,按诚实规则不显示分数与名次。†(未核实) | 按任务:MAE、AUROC、AUPRC、Spearman(5 种子均值 ± 标准差),scaffold 切分 | TDC ADMET Benchmark Group, 22 datasets | 榜单 | —†(未核实) | 出处 | 榜上为原始 Chemprop / Chemprop-RDKit 提交,不是 Chemprop v2;无任何任务第一,与本站 v2 页面的配对属代理。 |
| MolE | — | 不显示:现榜无该模型条目,且无条目日期,不显示分数。†(未核实) | 按任务:MAE、AUROC、AUPRC、Spearman(5 种子均值 ± 标准差),scaffold 切分 | TDC ADMET Benchmark Group, 22 datasets | 榜单 | —†(未核实) | 出处 | 2026-11-16 全量扫描 22 个官方榜未见 MolE 行;"22 项中 10 项第一"只能归于其 2024 年论文。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。4 个计入(榜 3 · 自报 1);另 2 条不计入(未证实 2)。
官方参赛 / 官方榜单(3)
- ADMET-AI:向该库的 ADMET 分组榜提交;论文自报平均排名最好,但 2026-11-16 全量扫榜时,榜上唯一标注本模型的提交只覆盖 1 个任务且位于末位(数值约为最优的 25 倍,疑单位错误),「22 个数据集平均排名最佳」在现榜上没有对应条目(榜单,置信度高;出处)
- MiniMol:ADMET 分组(22 个数据集):摘要称在其中 17 个任务上显著优于此前最佳的基础模型,但未点名对照模型;另在官方分任务榜上有条目,位次落后于若干指纹与梯度提升方法(榜单,置信度高;出处)
- MolE:关系按配对文件记为官方榜单,但本轮全量扫 22 个官方分任务榜未检出该模型任何一行:期刊版是与 2023-09 榜单快照的对比,不能当作当前榜单位次,此条按未核实显示(榜单,置信度中,未核实†;出处)
开发方按官方口径自报(1)
- TxGemma:论文在该库的 66 个任务上按推荐划分自报结果,并分别与专用模型、通用模型两套对照计数(自报,置信度高;出处)
- 同上:一家公司在其激酶任务集上跑了中间档参数版本,作为自家模型的对照;评测集非该库官方划分(第三方,置信度中;出处)
未证实(2,不计数)
- Chemprop v2:榜上条目未标版本,且是经以其为底层的 ADMET 模型间接出现,模型本身不单独报分(未知,置信度低,未核实†;出处)
- Enchant v1/v2:开发方博客全文未出现该 benchmark 名、官方划分或协议,只有一个指向基线页的超链接;中文矩阵、中文模型页与英文数据三处口径不一,本轮统一为未证实,不计入(未知,置信度高,未核实†;出处)
局限与注意
- 提交为自报,无独立复跑或合理性检查;scaffold 切分不防近邻类似物泄漏,梯度提升基线很强。
- 标签来自不同来源拼接;hERG、DILI 等小数据集统计功效低,二分类阈值来自文献。
- 用户报告 PPBR_AZ 不同加载器分子数不同、测试集有标签冲突的重复分子(非独立审计)。
- ChEMBL、ZINC 预训练模型可能见过测试分子,无官方去重;协议对外部数据与集成限制弱。
- 无"榜单提升到实验命中率"的可核证据。
新模型怎么用
pip 安装 PyTDC,用 admet_group 的 get 取数据、evaluate_many 计分,跑 5 个种子。报告须写明种子标准差、SMILES 标准化与去重、是否用外部预训练或预计算特征,并与梯度提升基线同报;泛化结论需时间切分的自有数据或前瞻盲测。
搭配:Polaris / ASAP / OpenADMET · MoleculeNet (+OGB) · FS-Mol
来源
- TDC 原论文(arXiv 2102.09548)(预印本)
- ADMET 组官方说明与榜单(榜单)
- 官方 benchmark 组总览(官方网站)
- DTI-DG 组说明(官方网站)
- PyTDC 论文(arXiv 2505.05577)(预印本)
- PyTDC(PyPI)(包仓库)
- TDC 仓库 issue #377(PPBR_AZ 数据问题)(仓库)
- MapLight 预印本(arXiv 2310.00174)(第三方论文)
- ADMET-AI 论文(Bioinformatics 2024)(期刊)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2021-02-18 | 2020-11-13 | 最早公开证据是 PyTDC 0.0.1 的 PyPI 首次上传,而非 arXiv v1;原条目依据已提及此事。 | 依据 | 2026-11-16 |
| first_release_basis | arXiv v1 of TDC paper (PyPI PyTDC 0.0.1 appeared earlier, 2020-11-13) | first public code release: PyTDC 0.0.1 on PyPI (2020-11-13); TDC paper arXiv v1 2021-02-18; TDC-2 bioRxiv v1 2024-06-14; PyTDC paper arXiv v1 2025-05-08. | 按最早公开证据规则重写依据。 | 依据 | 2026-11-16 |
| members | [{"member": "PyTDC first PyPI", "date": "2020-11-13"}, {"member": "TDC paper (arXiv)", "date": "2021-02-18"}, {"member": "PyTDC (arXiv v1)", "date": "2025-05-08"}] | [{"member": "PyTDC first PyPI release 0.0.1", "date": "2020-11-13"}, {"member": "TDC paper (arXiv v1)", "date": "2021-02-18"}, {"member": "TDC-2 (bioRxiv v1)", "date": "2024-06-14"}, {"member": "PyTDC paper (arXiv v1)", "date": "2025-05-08"}] | 漏列 TDC-2 族成员,第三个成员被误标为软件发布。 | 依据 | 2026-11-16 |
| ranking.entries[model-mole] | MolE '10 of 22 first places' presented as a board standing | No MolE row on any of the 22 official boards (2026-11-16 scan); claim attributed to its 2024 paper only | 全量扫描 22 个官方分任务榜未检出 MolE 行,该说法只能归于论文。 | 依据 | 2026-11-16 |
| ranking.entries[model-admet-ai] | ADMET-AI 'best average rank over the 22 datasets' presented as a board standing | Only one ADMET-AI-labelled board submission (Caco2, last place, value likely a unit error); the average-rank claim has no live counterpart | 榜上唯一标注 ADMET-AI 的提交仅 1 个任务且居末位。 | 依据 | 2026-11-16 |
| models_reported.model-enchant-v1-v2 | self-reported (zh matrix, en pairs.json) | disputed-or-unconfirmed | 开发方博客未写明 benchmark、官方切分或协议。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。