模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

10 GuacaMol

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

分子生成的入场券式口径;真值全为计算 oracle,已停更,优化侧被 PMO 取代。真值全是可被直接优化的廉价计算 oracle;无调用预算,平凡改动即可刷满分布任务;优化侧已被 PMO 取代。

bench-10 · 类型 D · 证据 L2 · 分子生成 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 GuacaMol (+MOSES);全称:GuacaMol 分子生成基准(含姊妹基准 MOSES);别名:GuacaMol、MOSES、Molecular Sets
家族 家族条目:GuacaMol ;MOSES 。边界:GuacaMol 含分布学习与目标导向任务;MOSES 为独立团队的姊妹基准,只有分布学习指标,数据取自 ZINC,二者分数不可互换。
领域 分子生成
类型 D:D 计算 oracle,真值来自打分函数或折叠回读。计算 oracle 基准,无官方榜单
证据层级 L2:计算 oracle 上的回顾性评测
发布方 BenevolentAI、Insilico Medicine(多类机构联合)
首次发布 (依据:GuacaMol 论文 arXiv v1(MOSES arXiv v1 为 2018-11-29))
其他里程碑 预印本 v1 (GuacaMol arXiv 1811.09621 v1);期刊上线 †(未核实)(JCIM 2019 论文在线);代码发布 (guacamol 0.3.1 上传 PyPI)
最近更新 ,仅维护:guacamol 0.5.5 上传 PyPI(维护性);MOSES 仓库最后提交为 2023-06-22。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(项目已停更,无维护方公告。)
规模 5 个分布学习任务加 20 个目标导向任务;ChEMBL 24 子集训练 SMILES 1,273,104 个。 明细:分布学习任务(GuacaMol) 5 tasks;目标导向任务(GuacaMol) 20 tasks;训练 / 验证 / 测试 SMILES(GuacaMol (ChEMBL 24)) 1,273,104 / 79,568 / 238,706 SMILES;MOSES 分子数(MOSES) 1,936,962 molecules
状态 ○ 冻结:停更;分布学习任务部分饱和
wet lab 更新 静态:无;真值为计算 oracle 与 ChEMBL 训练集。
需自补 wet lab 断言真实泛化时需要
报告模型数 0 个计入
当前排名 — 无排名(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:分子生成:5 个分布学习任务与 20 个由计算 oracle 打分的目标导向任务。
  • 真值:公开的手写计算函数(相似度、描述符、SMARTS、MPO),无实验标签。
  • 主指标:目标导向:20 任务加权得分之和(满分 20)
  • 次指标:分布:Validity、Uniqueness、Novelty、KL、FCD;MOSES:SNN、Frag、Scaf、IntDiv
  • 版本陷阱:无 oracle 调用预算,总分随调用数上升;GuacaMol 与 MOSES 指标不同;PMO 的 oracle 多源自 GuacaMol,不是独立证据。

当前排名

状态:— 无排名

  • 指标:目标导向:20 任务 top-1/10/100 加权得分之和(满分 20);分布:Validity、Uniqueness、Novelty、KL、FCD
  • 评测集 / 口径:GuacaMol 20 goal-directed + 5 distribution-learning tasks (ChEMBL 24 subset); MOSES as sibling
  • 快照日期:

说明:无官方榜单且本站模型均未报分;项目停更,优化侧被 PMO 固定 10K 调用协议取代;分布任务可被平凡策略刷满。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
Graph GA(非本站模型) 1 不显示†(未核实) 目标导向:20 任务 top-1/10/100 加权得分之和(满分 20);分布:Validity、Uniqueness、Novelty、KL、FCD GuacaMol 20 goal-directed + 5 distribution-learning tasks (ChEMBL 24 subset); MOSES as sibling 自报(二手) 出处 非本站模型;数值取自原论文基线,本轮未复核;后续论文更高总分均为分散自报,无统一协议与种子方差。
GenMol — 不显示:出处不全 目标导向:20 任务 top-1/10/100 加权得分之和(满分 20);分布:Validity、Uniqueness、Novelty、KL、FCD GuacaMol 20 goal-directed + 5 distribution-learning tasks (ChEMBL 24 subset); MOSES as sibling 自报 出处 未报 GuacaMol 20 任务或 MOSES 分数,只用其数据训练基线;派生 oracle 成绩见 PMO。
REINVENT 4 — 不显示:出处不全 目标导向:20 任务 top-1/10/100 加权得分之和(满分 20);分布:Validity、Uniqueness、Novelty、KL、FCD GuacaMol 20 goal-directed + 5 distribution-learning tasks (ChEMBL 24 subset); MOSES as sibling 自报 出处 论文只把 GuacaMol 与 MOSES 作为相关工作引用;流传数值属更早版本,由他人复表,配对不成立。

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。0 个计入。

暂无模型与本 benchmark 构成配对。

局限与注意

  1. 真值全是可被直接优化的廉价计算 oracle;无调用预算,平凡改动即可刷满分布任务;优化侧已被 PMO 取代。
  2. 原文中得分最高的方法通过化学质量过滤的比例更低,得分与化学质量存在张力。
  3. 20 任务简单求和,无置信区间、不要求多种子;头部差距大概率在噪声内。
  4. 重发现与相似度类任务基本被解决;同分异构体与部分 MPO 仍有区分度。
  5. 未见分数与真实活性或可合成性相关的证据。

新模型怎么用

pip 安装 guacamol 生成数据并实现生成器接口;MOSES 用 molsets。建议先用 PMO 的 10K 预算协议,至少 5 个种子;报告 oracle 调用数、AUC Top-10、质量过滤后得分,以及是否用 ChEMBL 以外数据。

搭配:PMO (Practical Molecular Optimization) · USPTO family (+PaRoutes)

来源

  1. GuacaMol 论文(arXiv 1811.09621)(预印本)
  2. GuacaMol 官方仓库(仓库)
  3. guacamol(PyPI)(包仓库)
  4. MOSES 论文(arXiv 1811.12823)(预印本)
  5. MOSES 仓库(仓库)
  6. PMO 论文(arXiv 2206.12411)(第三方论文)
  7. 样本效率与过滤研究(arXiv 2212.01385)(第三方论文)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
latest_version no formal release PyPI releases guacamol 0.3.1 (2018-11-28) to 0.5.5 (2023-09-19) PyPI 有正式版本记录,与"无正式 release"的说法矛盾。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。