20 CACHE
计算团队提交可购化合物,组织方实测结合,是真做湿实验的盲测。评的是整支队伍的 workflow,不是单个模型;官方不公布工作流内用了哪些模型。
bench-20 · 类型 A · 证据 L5 · 小分子 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | CACHE;全称:Critical Assessment of Computational Hit-finding Experiments;别名:CACHE challenge、CACHE #1、CACHE #5、CACHE #8;有歧义、不自动链接:DREAM x CACHE、Target 2035 |
| 家族 | 否(单一挑战的历届轮次,不是家族条目;各轮规模记在规模项中。) |
| 领域 | 小分子(次领域:结构/共折叠) |
| 类型 | A:A 周期盲测挑战,每届新题新真值。周期前瞻盲测,每轮一个靶点 |
| 证据层级 | L5:前瞻湿实验;无独立实验室复现 |
| 发布方 | Structural Genomics Consortium、Conscience(非营利研究机构) |
| 首次发布 | †(未核实)(依据:官方页面公布的第 1 轮靶点与开放参与安排;无当日存档) 报名截止日 2022-01-31 只作注记,不能当首发。 |
| 其他里程碑 | 最早公开证据 (第 1 轮报名截止日(仅作注记,不是发布));官方公告 †(未核实)(第 1 轮开放参与的官方公告安排) |
| 最近更新 | †(未核实),数据发布:托管方发布第 5 轮结果新闻稿(2026 年 8 月上传 PDF);DREAM×CACHE Target 2035 于 2026 年 6 月启动。(新闻稿确切日期未见(站上笔记写 2026-08-18)。)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | †(未核实)(托管方新闻稿称第 9 轮预计 2026 年底;DREAM×CACHE 报名截止 2026-11-30) |
| 规模 | 第 1–8 轮,每轮 1 个靶点、每队 ≤100 个化合物;第 5 轮共 2,031 个、第 6 轮 1,344 个。 明细:第 1 轮化合物(23 队)(CACHE #1) 1955 {'zh': '个化合物', 'en': 'compounds'};第 5 轮化合物合计(24 队)(CACHE #5) 2031 {'zh': '个化合物', 'en': 'compounds'};第 5 轮第一阶段(CACHE #5) 1455 {'zh': '个化合物', 'en': 'compounds'};第 5 轮第二阶段(15 名参与者)(CACHE #5) 576 {'zh': '个化合物', 'en': 'compounds'};第 6 轮化合物(18 名参与者)(CACHE #6) 1344 {'zh': '个化合物', 'en': 'compounds'};每队提交上限 100 {'zh': '个化合物', 'en': 'compounds'} |
| 状态 | ● 活跃:活跃:第 8 轮进行中,第 5 轮结果 2026-08 公布 |
| wet lab 更新 | 新:是:约每年 2 轮,每轮 1,300–2,000 个化合物加 300–600 个类似物,由实验室实测。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 0 个计入 |
| 当前排名 | — 无排名(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:每轮给一个靶点,各队提交 ≤100 个可购化合物,组织方做初筛与正交确认,第二阶段再提交类似物。
- 真值:组织方新测的结合数据(SPR 等)与第二阶段的功能或正交 assay 结果。
- 主指标:实验确认的命中数与命中率
- 次指标:第二阶段确认的类似物数与系列数;命中物的亲和力区间
- 版本陷阱:逐轮靶点与 assay 不同,命中判据也不同(第 1 轮以 KD<150 µM 为命中),跨轮命中率不可比。
当前排名
状态:— 无排名
- 指标:实验确认的命中数与命中率(SPR、剂量响应、功能 assay);无单一分数
- 评测集 / 口径:CACHE challenges #1-#8, one target per round, up to 100 purchasable compounds per team
- 快照日期:†(未核实)
- 榜单页面
说明:CACHE 前瞻评测的是整支队伍的 workflow 而不是单个模型,只公布命中计数;每轮命中率 0.7–4%,样本量不足以做显著性比较。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| CACHE #5 (MCHR1) round results, workflow level rather than model level(非本站模型) | — | 不显示:页面无日期,且组织方不给名次,按诚实规则不作为排名数值显示。†(未核实) | 实验确认的命中数与命中率(SPR、剂量响应、功能 assay);无单一分数 | CACHE challenges #1-#8, one target per round, up to 100 purchasable compounds per team | 榜单 | —†(未核实) | 出处 | 非本站模型。官方结果页按工作流编号公布命中计数,不披露所用模型,也不排名次。 |
| Boltz-2 | — | 不显示:无数值、无日期,不作排名显示。†(未核实) | 实验确认的命中数与命中率(SPR、剂量响应、功能 assay);无单一分数 | CACHE challenges #1-#8, one target per round, up to 100 purchasable compounds per team | 第三方 | —†(未核实) | 出处 | Boltz-2 论文未报 CACHE 参赛,CACHE 结果页也不披露各工作流内的模型,是否用过属未公开。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入。
暂无模型与本 benchmark 构成配对。
提及但不构成配对
局限与注意
- 评的是整支队伍的 workflow,不是单个模型;官方不公布工作流内用了哪些模型。
- 每轮命中仅数十个、命中率 0.7–4%,且无显著性检验,ML 与物理方法无法统计比较。
- 命中多为数十 µM 的弱结合,结合不等于功能活性或可成药性。
- 偏倚:化合物库限于单一供应商、自愿参赛,assay 灵敏度限制弱结合物检出。
- 第 7、8 轮尚无公布结果;第 4–6 轮的同行评议论文滞后。
新模型怎么用
真盲测只能参加下一轮;已揭盲轮次的化合物级数据可作回顾集,但对训练截止较晚的模型不再是盲测。报告时写明轮次、靶点、命中判据与 assay,并区分第一、第二阶段。要得到真实泛化结论必须有前瞻测定,该轮成本由组织方承担。
搭配:PoseBusters · PLINDER / PINDER / Runs N' Poses · DUD-E / LIT-PCBA · Polaris / ASAP / OpenADMET
来源
- CACHE 官网(官方网站)
- 第 5 轮官方结果页(官方网站)
- 托管方第 5 轮结果新闻稿(新闻),†(未核实)
- 第 7 轮规则页(官方网站)
- 第 1 轮结果预印本(预印本)
- 第 3 轮参赛工作流论文(期刊)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2022-01-31 | 2021-12-01 | 2022-01-31 是第 1 轮报名截止日,报名截止日绝不能当首发;官方页面给出的开放参与日为 2021-12-01。 | 依据 | 2026-11-16 |
| first_release_basis | challenge #1 application deadline (launch date not stated on site) | official announcement of challenge #1 targets and open participation, 2021-12-01 (organiser page). This is the announced arrangement; no same-day archive of the live opening was obtained, so the day stays flagged. Application deadline 2022-01-31 is stored as a note only. | 依据随之改写,明确用的是官方公告的开放安排,并把报名截止日降为注记。 | 依据 | 2026-11-16 |
| members | [{"member": "CACHE #1 (deadline)", "date": "2022-01-31"}, {"member": "CACHE #8 (deadline)", "date": "2026-04-30"}] | [{"member": "CACHE #1 announced open (2021-12-01)", "date": "2021-12-01"}, {"member": "CACHE #1 application deadline", "date": "2022-01-31"}, {"member": "CACHE #8 application deadline", "date": "2026-04-30"}] | 把开放日与各轮报名截止日分开存放,使截止日不会被读成发布日。 | 依据 | 2026-11-16 |
| scale | round #5: 2,031 compounds; round #6: 1,344 | unchanged, with provenance: round #5's 2,031 is the sum of stage 1 (1,455 compounds, 24 teams) and stage 2 (576); round #6 is 1,344 compounds from 18 participants | 湿实验核对要求每个数字带分子分母与阶段归属,避免把两阶段之和读成单阶段规模。 | 依据 | 2026-11-16 |
| ranking.status | round results shown as a ranking row | no-ranking: hit counts at workflow level, with the undated results page withheld from display | 组织方不排名次,结果页无日期;每个显示的分数都需要日期与来源类型。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。