10 GuacaMol
分子生成的入场券式口径;真值全为计算 oracle,已停更,优化侧被 PMO 取代。真值全是可被直接优化的廉价计算 oracle;无调用预算,平凡改动即可刷满分布任务;优化侧已被 PMO 取代。
bench-10 · 类型 D · 证据 L2 · 分子生成 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | GuacaMol (+MOSES);全称:GuacaMol 分子生成基准(含姊妹基准 MOSES);别名:GuacaMol、MOSES、Molecular Sets |
| 家族 | 家族条目:GuacaMol ;MOSES 。边界:GuacaMol 含分布学习与目标导向任务;MOSES 为独立团队的姊妹基准,只有分布学习指标,数据取自 ZINC,二者分数不可互换。 |
| 领域 | 分子生成 |
| 类型 | D:D 计算 oracle,真值来自打分函数或折叠回读。计算 oracle 基准,无官方榜单 |
| 证据层级 | L2:计算 oracle 上的回顾性评测 |
| 发布方 | BenevolentAI、Insilico Medicine(多类机构联合) |
| 首次发布 | (依据:GuacaMol 论文 arXiv v1(MOSES arXiv v1 为 2018-11-29)) |
| 其他里程碑 | 预印本 v1 (GuacaMol arXiv 1811.09621 v1);期刊上线 †(未核实)(JCIM 2019 论文在线);代码发布 (guacamol 0.3.1 上传 PyPI) |
| 最近更新 | ,仅维护:guacamol 0.5.5 上传 PyPI(维护性);MOSES 仓库最后提交为 2023-06-22。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(项目已停更,无维护方公告。) |
| 规模 | 5 个分布学习任务加 20 个目标导向任务;ChEMBL 24 子集训练 SMILES 1,273,104 个。 明细:分布学习任务(GuacaMol) 5 tasks;目标导向任务(GuacaMol) 20 tasks;训练 / 验证 / 测试 SMILES(GuacaMol (ChEMBL 24)) 1,273,104 / 79,568 / 238,706 SMILES;MOSES 分子数(MOSES) 1,936,962 molecules |
| 状态 | ○ 冻结:停更;分布学习任务部分饱和 |
| wet lab 更新 | 静态:无;真值为计算 oracle 与 ChEMBL 训练集。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 0 个计入 |
| 当前排名 | — 无排名(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:分子生成:5 个分布学习任务与 20 个由计算 oracle 打分的目标导向任务。
- 真值:公开的手写计算函数(相似度、描述符、SMARTS、MPO),无实验标签。
- 主指标:目标导向:20 任务加权得分之和(满分 20)
- 次指标:分布:Validity、Uniqueness、Novelty、KL、FCD;MOSES:SNN、Frag、Scaf、IntDiv
- 版本陷阱:无 oracle 调用预算,总分随调用数上升;GuacaMol 与 MOSES 指标不同;PMO 的 oracle 多源自 GuacaMol,不是独立证据。
当前排名
状态:— 无排名
- 指标:目标导向:20 任务 top-1/10/100 加权得分之和(满分 20);分布:Validity、Uniqueness、Novelty、KL、FCD
- 评测集 / 口径:GuacaMol 20 goal-directed + 5 distribution-learning tasks (ChEMBL 24 subset); MOSES as sibling
- 快照日期:
说明:无官方榜单且本站模型均未报分;项目停更,优化侧被 PMO 固定 10K 调用协议取代;分布任务可被平凡策略刷满。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| Graph GA(非本站模型) | 1 | 不显示†(未核实) | 目标导向:20 任务 top-1/10/100 加权得分之和(满分 20);分布:Validity、Uniqueness、Novelty、KL、FCD | GuacaMol 20 goal-directed + 5 distribution-learning tasks (ChEMBL 24 subset); MOSES as sibling | 自报(二手) | 出处 | 非本站模型;数值取自原论文基线,本轮未复核;后续论文更高总分均为分散自报,无统一协议与种子方差。 | |
| GenMol | — | 不显示:出处不全 | 目标导向:20 任务 top-1/10/100 加权得分之和(满分 20);分布:Validity、Uniqueness、Novelty、KL、FCD | GuacaMol 20 goal-directed + 5 distribution-learning tasks (ChEMBL 24 subset); MOSES as sibling | 自报 | 出处 | 未报 GuacaMol 20 任务或 MOSES 分数,只用其数据训练基线;派生 oracle 成绩见 PMO。 | |
| REINVENT 4 | — | 不显示:出处不全 | 目标导向:20 任务 top-1/10/100 加权得分之和(满分 20);分布:Validity、Uniqueness、Novelty、KL、FCD | GuacaMol 20 goal-directed + 5 distribution-learning tasks (ChEMBL 24 subset); MOSES as sibling | 自报 | 出处 | 论文只把 GuacaMol 与 MOSES 作为相关工作引用;流传数值属更早版本,由他人复表,配对不成立。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入。
暂无模型与本 benchmark 构成配对。
局限与注意
- 真值全是可被直接优化的廉价计算 oracle;无调用预算,平凡改动即可刷满分布任务;优化侧已被 PMO 取代。
- 原文中得分最高的方法通过化学质量过滤的比例更低,得分与化学质量存在张力。
- 20 任务简单求和,无置信区间、不要求多种子;头部差距大概率在噪声内。
- 重发现与相似度类任务基本被解决;同分异构体与部分 MPO 仍有区分度。
- 未见分数与真实活性或可合成性相关的证据。
新模型怎么用
pip 安装 guacamol 生成数据并实现生成器接口;MOSES 用 molsets。建议先用 PMO 的 10K 预算协议,至少 5 个种子;报告 oracle 调用数、AUC Top-10、质量过滤后得分,以及是否用 ChEMBL 以外数据。
搭配:PMO (Practical Molecular Optimization) · USPTO family (+PaRoutes)
来源
- GuacaMol 论文(arXiv 1811.09621)(预印本)
- GuacaMol 官方仓库(仓库)
- guacamol(PyPI)(包仓库)
- MOSES 论文(arXiv 1811.12823)(预印本)
- MOSES 仓库(仓库)
- PMO 论文(arXiv 2206.12411)(第三方论文)
- 样本效率与过滤研究(arXiv 2212.01385)(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_version | no formal release | PyPI releases guacamol 0.3.1 (2018-11-28) to 0.5.5 (2023-09-19) | PyPI 有正式版本记录,与"无正式 release"的说法矛盾。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。