07 USPTO family
逆合成与反应预测的默认数据口径;测的是能否复现专利记录,不是路线能否做成。随机切分泄漏模板(一份报告称约 94% 的 USPTO-50K 测试反应可由训练模板匹配);exact match 惩罚可行替代路线;无失败反应记录。
bench-07 · 类型 B · 证据 L2 · 小分子 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | USPTO family (+PaRoutes);全称:美国专利商标局(USPTO)专利反应数据集家族;别名:USPTO-50K、USPTO-MIT、USPTO-480K、MIT-480K、USPTO-FULL、USPTO-STEREO、PaRoutes;有歧义、不自动链接:USPTO |
| 家族 | 家族条目:Patent reaction extraction data 1976-2013 †(未核实);USPTO-50K ;Patent reactions 1976-Sep2016 (figshare) ;USPTO-MIT 480K ;PaRoutes †(未核实)。边界:同源于专利文本抽取的多个切分与路线集;各子集规模、切分与预处理不同,数字不可跨子集比较。 |
| 领域 | 小分子 |
| 类型 | B:B 静态数据集套件。静态数据集家族;PaRoutes 为路线集加脚本 |
| 证据层级 | L2(范围 L2–L3):随机切分回顾性;OOD 研究触及 L3 |
| 发布方 | NextMove Software、Novartis、Massachusetts Institute of Technology、AstraZeneca(多类机构联合) |
| 首次发布 | (依据:专利文本反应抽取数据首次公开(NextMove 博客,2014-02);日未取到) |
| 其他里程碑 | 最早公开证据 †(未核实)(专利反应抽取数据首次公开);预印本 v1 (USPTO-MIT 480K 论文 arXiv v1);期刊上线 (USPTO-50K 的 JCIM 论文在线) |
| 最近更新 | ,数据发布:最新成员 PaRoutes 路线基准论文发表于 Digital Discovery(预印本评审 2022-03-18);源数据冻结于 2016-09。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(源数据已冻结,无维护方公告新版本。) |
| 规模 | 源库约 330 万条反应;USPTO-50K 约 5 万;MIT-480K 479,035 条;PaRoutes 两套各 1 万条路线。 明细:源库反应数(1976-Sep2016) 3,305,795 reactions;USPTO-50K 反应数(10 个大类)(USPTO-50K) ~50,000 reactions;MIT 切分(训练/验证/测试)(USPTO-MIT) 409,035 / 30,000 / 40,000 reactions;FULL 原始反应数(预处理口径不一)(USPTO-FULL) 1,808,937 reactions;PaRoutes 路线集(PaRoutes v1.0.0) 2 × 10,000 routes |
| 状态 | ○ 冻结:源数据冻结于 2016 年;方法论文仍在报告 |
| wet lab 更新 | 静态:无;为专利文本挖掘,非实验验证。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 5 个计入(自报 4 · 改协议 1) |
| 当前排名 | ≠ 不可比(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:基于美国专利抽取反应的正向产物预测、单步逆合成与多步路线搜索。
- 真值:专利文本的抽取记录;无失败反应、无产率保证,条件常缺失。
- 主指标:top-k exact match(canonical SMILES)
- 次指标:round-trip accuracy;路线求解率(PaRoutes)
- 版本陷阱:是否给定反应类别、测试时增强、FULL 预训练与各论文自行预处理都会改变数字;MIT 有 mixed 与 separated 两种设定。
当前排名
状态:≠ 不可比
- 指标:top-k exact match(%),canonical SMILES
- 评测集 / 口径:USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining)
- 快照日期:
排名行不显示分数:5 个口径,无统一排名
说明:无官方榜单,Papers with Code 已关闭;数字取决于反应类别披露、测试增强与预训练语料;测试集约 5k 条,1 个点约 50 条,多数无种子或置信区间。
不可比:下表按条目列出,不排名次。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| RetroDFM-R | — | 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值留在实体页。 | top-k exact match(%),canonical SMILES | USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) | 自报 | 出处 | 订正:站上误引 arXiv 2510.16588(实为 C-SMILES),本模型论文为 arXiv 2507.17448;数值经检索摘要获取,非全文通读。 | |
| Uni-Mol3 | — | 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值留在实体页。 | top-k exact match(%),canonical SMILES | USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) | 自报 | 出处 | 已回读原文;同表显示其 50K 逆合成低于 Chemformer 基线。 | |
| Chemformer | — | 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值留在实体页。 | top-k exact match(%),canonical SMILES | USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) | 第三方 | 出处 | 第三方汇总(Uni-Mol3 论文中的基线行),已复核。 | |
| C-SMILES (not a site model)(非本站模型) | — | 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值留在实体页。 | top-k exact match(%),canonical SMILES | USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) | 自报 | 出处 | 非本站模型;本轮所见 50K top-1 最高;站上"已知类/未知类"拆分在摘要页未获证实。 | |
| ether0 | — | 不显示:出处不全(缺 url)且协议不同,按诚实规则不显示。†(未核实) | top-k exact match(%),canonical SMILES | USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) | 自报 | —†(未核实) | — | 在自建反应集上评测,非官方 USPTO 测试切分,不可比。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。5 个计入(自报 4 · 改协议 1)。
开发方按官方口径自报(4)
- Chemformer:官方小集逆合成划分,原论文自报;后续模型论文表中的转引属仅作比较引用,不另算配对。本页不转录分数(自报,置信度高;出处)
- RetroDFM-R:两个官方划分(小集与全集)、反应类别未知设置;含与不含测试时增强两种设定必须分别引用,同表基线为作者自己的运行(自报,置信度高,未核实†;出处)
- SciReasoner:在该专利反应数据集的 5 万条单步逆合成划分上自报精确匹配,与此前最好的无模板方法对照;本站矩阵原先只以注记形式记录该配对(自报,置信度高;出处)
- Uni-Mol3:三个官方子集:产物预测、逆合成与反应条件,均为开发方自报;同表列出的对照数字出自作者自己的运行(自报,置信度高;出处)
开发方自报,协议有改动(1)
局限与注意
- 随机切分泄漏模板(一份报告称约 94% 的 USPTO-50K 测试反应可由训练模板匹配);exact match 惩罚可行替代路线;无失败反应记录。
- 给定反应类别、测试增强与预训练语料可明显抬高数字,跨论文比较须对齐设定。
- 测试集约 5k 条,近年 1–3 点的提升可能在噪声量级(推断);多数论文无置信区间。
- OOD 评测中 template-free 模型表现大幅下降;单步成绩与路线查找成功率有脱节报告。
- 无路线实验可行性证据,可行性只能靠合成验证。
新模型怎么用
用 figshare 的 CC0 源数据或各方法仓库的预处理版,PaRoutes 用其仓库脚本。报告须写明子集、是否给定反应类别、是否增强、是否用 FULL 预训练、切分方式(建议新切分或时间切分)、多种子与置信区间,并与模板检索基线同报;round-trip 须披露正向模型。
搭配:GuacaMol (+MOSES) · PMO (Practical Molecular Optimization)
来源
- 专利反应数据 1976–2016-09(figshare,CC0)(存档)
- USPTO-50K 来源论文(JCIM 2016)(期刊)
- USPTO-MIT 480K 论文(arXiv 1709.04555)(预印本)
- PaRoutes(Digital Discovery 2022)(期刊)
- PaRoutes 仓库(仓库)
- Retrosynthesis Prediction Revisited(NeurIPS 2022 workshop)(第三方论文)
- 逆合成 OOD 评测(arXiv 2403.03960)(第三方论文)
- RetroDFM-R 论文(arXiv 2507.17448)(预印本)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| ranking.entries[model-retrodfm-r].url | arXiv 2510.16588 cited for RetroDFM-R | arXiv 2507.17448 (2510.16588 is a different paper, C-SMILES) | 站上引用的论文编号属另一篇论文。 | 依据 | 2026-11-16 |
| ranking.entries[C-SMILES].note | known-class / unknown-class split as stated on the site | abstract gives a USPTO-50K figure and a USPTO-FULL figure; the known/unknown-class split is not confirmed | 摘要给出的是 50K 与 FULL 两个数,不是已知类/未知类拆分。 | 依据 | 2026-11-16 |
| first_release.basis | Source data dated 2012 (thesis) | 2014-02, first public data release; 2012 date unverified | 2012 年学位论文日期无法核实,最早可证公开发布为 2014-02。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。