模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

07 USPTO family

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

逆合成与反应预测的默认数据口径;测的是能否复现专利记录,不是路线能否做成。随机切分泄漏模板(一份报告称约 94% 的 USPTO-50K 测试反应可由训练模板匹配);exact match 惩罚可行替代路线;无失败反应记录。

bench-07 · 类型 B · 证据 L2 · 小分子 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 USPTO family (+PaRoutes);全称:美国专利商标局(USPTO)专利反应数据集家族;别名:USPTO-50K、USPTO-MIT、USPTO-480K、MIT-480K、USPTO-FULL、USPTO-STEREO、PaRoutes;有歧义、不自动链接:USPTO
家族 家族条目:Patent reaction extraction data 1976-2013 †(未核实);USPTO-50K ;Patent reactions 1976-Sep2016 (figshare) ;USPTO-MIT 480K ;PaRoutes †(未核实)。边界:同源于专利文本抽取的多个切分与路线集;各子集规模、切分与预处理不同,数字不可跨子集比较。
领域 小分子
类型 B:B 静态数据集套件。静态数据集家族;PaRoutes 为路线集加脚本
证据层级 L2(范围 L2–L3):随机切分回顾性;OOD 研究触及 L3
发布方 NextMove Software、Novartis、Massachusetts Institute of Technology、AstraZeneca(多类机构联合)
首次发布 (依据:专利文本反应抽取数据首次公开(NextMove 博客,2014-02);日未取到)
其他里程碑 最早公开证据 †(未核实)(专利反应抽取数据首次公开);预印本 v1 (USPTO-MIT 480K 论文 arXiv v1);期刊上线 (USPTO-50K 的 JCIM 论文在线)
最近更新 ,数据发布:最新成员 PaRoutes 路线基准论文发表于 Digital Discovery(预印本评审 2022-03-18);源数据冻结于 2016-09。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(源数据已冻结,无维护方公告新版本。)
规模 源库约 330 万条反应;USPTO-50K 约 5 万;MIT-480K 479,035 条;PaRoutes 两套各 1 万条路线。 明细:源库反应数(1976-Sep2016) 3,305,795 reactions;USPTO-50K 反应数(10 个大类)(USPTO-50K) ~50,000 reactions;MIT 切分(训练/验证/测试)(USPTO-MIT) 409,035 / 30,000 / 40,000 reactions;FULL 原始反应数(预处理口径不一)(USPTO-FULL) 1,808,937 reactions;PaRoutes 路线集(PaRoutes v1.0.0) 2 × 10,000 routes
状态 ○ 冻结:源数据冻结于 2016 年;方法论文仍在报告
wet lab 更新 静态:无;为专利文本挖掘,非实验验证。
需自补 wet lab 断言真实泛化时需要
报告模型数 5 个计入(自报 4 · 改协议 1)
当前排名 ≠ 不可比(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:基于美国专利抽取反应的正向产物预测、单步逆合成与多步路线搜索。
  • 真值:专利文本的抽取记录;无失败反应、无产率保证,条件常缺失。
  • 主指标:top-k exact match(canonical SMILES)
  • 次指标:round-trip accuracy;路线求解率(PaRoutes)
  • 版本陷阱:是否给定反应类别、测试时增强、FULL 预训练与各论文自行预处理都会改变数字;MIT 有 mixed 与 separated 两种设定。

当前排名

状态:≠ 不可比

  • 指标:top-k exact match(%),canonical SMILES
  • 评测集 / 口径:USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining)
  • 快照日期:

排名行不显示分数:5 个口径,无统一排名

说明:无官方榜单,Papers with Code 已关闭;数字取决于反应类别披露、测试增强与预训练语料;测试集约 5k 条,1 个点约 50 条,多数无种子或置信区间。

不可比:下表按条目列出,不排名次。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
RetroDFM-R — 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值留在实体页。 top-k exact match(%),canonical SMILES USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) 自报 出处 订正:站上误引 arXiv 2510.16588(实为 C-SMILES),本模型论文为 arXiv 2507.17448;数值经检索摘要获取,非全文通读。
Uni-Mol3 — 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值留在实体页。 top-k exact match(%),canonical SMILES USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) 自报 出处 已回读原文;同表显示其 50K 逆合成低于 Chemformer 基线。
Chemformer — 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值留在实体页。 top-k exact match(%),canonical SMILES USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) 第三方 出处 第三方汇总(Uni-Mol3 论文中的基线行),已复核。
C-SMILES (not a site model)(非本站模型) — 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值留在实体页。 top-k exact match(%),canonical SMILES USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) 自报 出处 非本站模型;本轮所见 50K top-1 最高;站上"已知类/未知类"拆分在摘要页未获证实。
ether0 — 不显示:出处不全(缺 url)且协议不同,按诚实规则不显示。†(未核实) top-k exact match(%),canonical SMILES USPTO-50K, USPTO-MIT/480K, USPTO-FULL; settings differ (reaction class, augmentation, pretraining) 自报 —†(未核实) — 在自建反应集上评测,非官方 USPTO 测试切分,不可比。

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。5 个计入(自报 4 · 改协议 1)。

开发方按官方口径自报(4)

  • Chemformer:官方小集逆合成划分,原论文自报;后续模型论文表中的转引属仅作比较引用,不另算配对。本页不转录分数(自报,置信度高;出处)
  • RetroDFM-R:两个官方划分(小集与全集)、反应类别未知设置;含与不含测试时增强两种设定必须分别引用,同表基线为作者自己的运行(自报,置信度高,未核实†;出处)
  • SciReasoner:在该专利反应数据集的 5 万条单步逆合成划分上自报精确匹配,与此前最好的无模板方法对照;本站矩阵原先只以注记形式记录该配对(自报,置信度高;出处)
  • Uni-Mol3:三个官方子集:产物预测、逆合成与反应条件,均为开发方自报;同表列出的对照数字出自作者自己的运行(自报,置信度高;出处)

开发方自报,协议有改动(1)

  • ether0:自建反应预测任务与留出集,不是该数据集的官方测试集,对照模型的训练规模也不同(自报,置信度高;出处)

局限与注意

  1. 随机切分泄漏模板(一份报告称约 94% 的 USPTO-50K 测试反应可由训练模板匹配);exact match 惩罚可行替代路线;无失败反应记录。
  2. 给定反应类别、测试增强与预训练语料可明显抬高数字,跨论文比较须对齐设定。
  3. 测试集约 5k 条,近年 1–3 点的提升可能在噪声量级(推断);多数论文无置信区间。
  4. OOD 评测中 template-free 模型表现大幅下降;单步成绩与路线查找成功率有脱节报告。
  5. 无路线实验可行性证据,可行性只能靠合成验证。

新模型怎么用

用 figshare 的 CC0 源数据或各方法仓库的预处理版,PaRoutes 用其仓库脚本。报告须写明子集、是否给定反应类别、是否增强、是否用 FULL 预训练、切分方式(建议新切分或时间切分)、多种子与置信区间,并与模板检索基线同报;round-trip 须披露正向模型。

搭配:GuacaMol (+MOSES) · PMO (Practical Molecular Optimization)

来源

  1. 专利反应数据 1976–2016-09(figshare,CC0)(存档)
  2. USPTO-50K 来源论文(JCIM 2016)(期刊)
  3. USPTO-MIT 480K 论文(arXiv 1709.04555)(预印本)
  4. PaRoutes(Digital Discovery 2022)(期刊)
  5. PaRoutes 仓库(仓库)
  6. Retrosynthesis Prediction Revisited(NeurIPS 2022 workshop)(第三方论文)
  7. 逆合成 OOD 评测(arXiv 2403.03960)(第三方论文)
  8. RetroDFM-R 论文(arXiv 2507.17448)(预印本)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
ranking.entries[model-retrodfm-r].url arXiv 2510.16588 cited for RetroDFM-R arXiv 2507.17448 (2510.16588 is a different paper, C-SMILES) 站上引用的论文编号属另一篇论文。 依据 2026-11-16
ranking.entries[C-SMILES].note known-class / unknown-class split as stated on the site abstract gives a USPTO-50K figure and a USPTO-FULL figure; the known/unknown-class split is not confirmed 摘要给出的是 50K 与 FULL 两个数,不是已知类/未知类拆分。 依据 2026-11-16
first_release.basis Source data dated 2012 (thesis) 2014-02, first public data release; 2012 date unverified 2012 年学位论文日期无法核实,最早可证公开发布为 2014-02。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。