44 FS-Mol
在全新 assay 上只给 16–256 个标签,预测其余分子活性;填补少样本适配场景。测试任务仅酶靶点,157 个中 125 个是激酶,其他类别只有 1–20 个任务。
bench-44 · 类型 B · 证据 L3 · 小分子 · 补充收录 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | FS-Mol;全称:FS-Mol:少样本分子活性预测基准;别名:fsmol-0.1 |
| 家族 | 否(只有一个数据版本 fsmol-0.1,仓库与论文是同一条目的里程碑,非家族。) |
| 领域 | 小分子 |
| 类型 | B:B 静态数据集套件。固定任务划分加评测协议 |
| 证据层级 | L3:按靶点 assay 划分的跨 assay 迁移,无盲测 |
| 发布方 | Microsoft Research、Novartis(多类机构联合) |
| 首次发布 | (依据:NeurIPS 2021 Datasets and Benchmarks 论文,2021-12(月级;未找到 arXiv 版本)。仓库首个提交 2021-08-13 仅作注。) |
| 其他里程碑 | 最早公开证据 †(未核实)(仓库首个提交 2021-08-13(含数据与代码),按口径不作首发,仅记为更早的公开痕迹);预印本 v1 (NeurIPS 2021 Datasets and Benchmarks 论文集) |
| 最近更新 | †(未核实),已归档:仓库归档为只读;最后一次代码提交 2021-12-08(类型标注修复),此后仅维护。(归档日未独立复核。)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(维护方未公告后续版本,仓库已归档。) |
| 规模 | 5,120 个 assay、233,786 个化合物、489,133 次测量;训练 4,938、验证 40、测试 157 个任务。 明细:assay 数(fsmol-0.1) 5,120;化合物数(fsmol-0.1) 233,786;测量次数(fsmol-0.1) 489,133;训练 / 验证 / 测试任务(fsmol-0.1) 4,938 / 40 / 157;测试任务中的激酶任务(fsmol-0.1) 125 |
| 状态 | ○ 冻结:冻结:仓库 2026-10-21 起归档只读;方法论文仍在引用。 |
| wet lab 更新 | 静态:不新增实验数据;取自 ChEMBL27,官方未发布后续版本。 |
| 需自补 wet lab | 断言真实泛化时需要 |
| 报告模型数 | 0 个计入 |
| 当前排名 | ≠ 不可比(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:先在训练任务上预训练,再用新 assay 的 16–256 个标签分子预测查询集活性。
- 真值:ChEMBL27 中各 assay 的活性测量,按该 assay 中位数二值化。
- 主指标:ΔAUPRC(查询集 AUPRC 减阳性比例)
- 次指标:平均秩;按靶点类别分层的分数
- 版本陷阱:须写明支持集大小、是否加 ECFP 或理化特征、合格任务数,以及额外预训练数据。
当前排名
状态:≠ 不可比
- 指标:ΔAUPRC(支持集 16–256)
- 评测集 / 口径:157 test tasks (fsmol-0.1, ChEMBL27)
- 快照日期:
排名行不显示分数:1 个口径,无统一排名
说明:无实时榜单,仓库已归档;后续方法论文在不同支持集与特征下自报,互不可比;无本站模型报告本基准。
不可比:下表按条目列出,不排名次。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| PN (prototypical network)(非本站模型) | — | 不显示:不可比:协议与子集不同,排名行不显示分数;逐协议数值只留在实体页。†(未核实) | ΔAUPRC(支持集 16–256) | 157 test tasks (fsmol-0.1, ChEMBL27) | 自报 | 出处 | 非本站模型;原论文基线表中最好的基线,支持集 16。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入。
暂无模型与本 benchmark 构成配对。
局限与注意
- 测试任务仅酶靶点,157 个中 125 个是激酶,其他类别只有 1–20 个任务。
- 按靶点划分,但蛋白家族与化学系列未全面断开,更近邻域插值而非真正分布外。
- 标签按 assay 中位数二值化且活性比例限定在 0.30–0.70,不代表真实筛选的稀有阳性。
- 各论文使用的支持集大小与特征不同,数值常不可直接比较。
- 官方仓库已归档只读,数据不随 ChEMBL 新版更新。
新模型怎么用
从官方仓库取数据与评测代码,用官方评测脚本在 157 个测试任务上运行,40 个验证任务用于调参。ΔAUPRC 按支持集大小 16 至 256 分列,并同时给随机森林基线;不同支持集下合格任务数不同,须写明任务覆盖。使用额外预训练数据须声明与测试 assay 的潜在重叠。更强的泛化主张需按靶点家族或化学骨架严格切分。
搭配:MoleculeNet (+OGB) · TDC (ADMET + DTI) · Polaris / ASAP / OpenADMET
来源
- FS-Mol 论文(NeurIPS 2021 Datasets and Benchmarks)(论文),
- 官方仓库(已归档只读)(仓库),
- 少样本方法论文(期刊版,2025)(第三方论文)
- 同时在本基准与分子性质集上报告的方法论文(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2021-08-13 | 2021-12 | 2021-08-13 是仓库首个提交,按口径不得作首发证据;可证的公开里程碑是 NeurIPS 2021 Datasets and Benchmarks 论文(月级)。 | 依据 | 2026-11-16 |
| first_release_basis | GitHub repo microsoft/FS-Mol initial commit (data + code); NeurIPS 2021 D&B paper Dec 2021; no arXiv version found | NeurIPS 2021 Datasets & Benchmarks paper, 2021-12 (month precision; no arXiv version found). Repo initial commit 2021-08-13 kept as a note only. | 依据与口径对齐,仓库首个提交降为注。 | 依据 | 2026-11-16 |
| ranking | baseline delta AUPRC values shown as a ranking | status not-comparable: no score or rank is displayed in the ranking row | 按排名文件的显示规则,不可比条目不给分数与名次。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。