13 CAGI
变异解读领域持续十余年的 CASP 式盲测,真值为提交时未公开的实验或临床数据。挑战小而异质、无统一分数:部分挑战仅几十个变异,评估者可事后清洗数据,且多数预测器训练时见过 ClinVar 或 HGMD
bench-13 · 类型 A · 证据 L4 · 基因组/RNA · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | CAGI;全称:基因组解读关键评估;别名:CAGI5、CAGI6、CAGI7、Critical Assessment of Genome Interpretation |
| 家族 | 否(单一周期性挑战;CAGI1–7 是同一挑战的各届,不是家族成员。) |
| 领域 | 基因组/RNA |
| 类型 | A:A 周期盲测挑战,每届新题新真值。周期盲测挑战,每届题型各异 |
| 证据层级 | L4(范围 L4–L5):Annotate-All-Missense 用截止后新增 ClinVar 标注,近 L5 |
| 发布方 | CAGI consortium (NIH-funded)(学术实验室) |
| 首次发布 | †(未核实)(依据:2010 年组织首届 CAGI(仅年份有据)。2010-12-10 伯克利研讨会是闭幕活动而非开赛;组织方页面未给出开放月份。) 仅年份有据,开放月份无一手出处 |
| 其他里程碑 | 最早公开证据 †(未核实)(首届赛季的博客报道(2010-12));开赛 / 首批题目 †(未核实)(2010 年组织首届 CAGI(仅年份有据)。2010-12-10 伯克利研讨会是闭幕活动而非开赛;组织方页面未给出开放月份。) |
| 最近更新 | ,新一轮:组织方宣布 CAGI7 预测季结束(14 个挑战;RGP-CRAM 于 2025-12-27 开放,截止期延至 2026-02)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(组织方官网未公布 CAGI8 的时间。) |
| 规模 | CAGI7 共 14 个挑战(12 个加 2 个 off-cycle);CAGI1–5 共 50 个挑战、738 份提交 明细:挑战数(CAGI7 (12 + 2 off-cycle)) 14;挑战数(CAGI6) 13 + 1;挑战数(CAGI1–5) 50;提交数(CAGI1–5) 738;被评预测器(Annotate-All-Missense)(CAGI6) 60 |
| 状态 | ● 活跃:活跃;CAGI7 于 2025 年举行,大会 2025-12 |
| wet lab 更新 | 新:约每 2–3 年一届,每届 12–14 个挑战;真值由数据提供者给出,不专设湿实验;新真值只能通过参加下一届获得 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 1 个计入(赛后复用 1) |
| 当前排名 | ◌ 第三方(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:变异解读盲测:功能实验效应、剪接与调控、罕见病诊断、复杂性状与 PRS 预测
- 真值:提交时未公开的实验数据(MAVE、酶活等)或临床数据;Annotate-All 系列用截止后新入 ClinVar 的标注
- 主指标:依挑战而异:Pearson/Kendall τ、AUC
- 次指标:lr+、accuracy;top-N 排名(罕见病诊断)
- 版本陷阱:无跨挑战统一分数;须写明届次、挑战名与评估论文版本(期刊版与预印本数字可能不同)
当前排名
状态:◌ 第三方
- 指标:AUROC(致病 vs 良性错义)
- 评测集 / 口径:CAGI6 Annotate-All-Missense full evaluation set (60 predictors)
- 快照日期:(旧:早于截至日 12 个月以上)
- 榜单页面
当前第一:ClinPred / MetaRNN,AUROC 0.92(AUROC(致病 vs 良性错义);CAGI6 Annotate-All-Missense full evaluation set (60 predictors);第三方;;旧)
说明:出自第三方评估论文(Hum Genet 144:281-293);AlphaMissense 的总体名次原文未给(0.88 并列);CAGI7 评估尚未发表;无统一 CAGI 榜单
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| ClinPred / MetaRNN(非本站模型) | 1 | AUROC 0.92 | AUROC(致病 vs 良性错义) | CAGI6 Annotate-All-Missense full evaluation set (60 predictors) | 第三方 | 出处 | 非本站模型;使用等位基因频率的 meta 预测器 | |
| VARITY_R(非本站模型) | — | AUROC 0.88 | AUROC(致病 vs 良性错义) | CAGI6 Annotate-All-Missense full evaluation set (60 predictors) | 第三方 | 出处 | 非本站模型;不使用等位基因频率的 meta 预测器 | |
| AlphaMissense | — | AUROC 0.88 | AUROC(致病 vs 良性错义) | CAGI6 Annotate-All-Missense full evaluation set (60 predictors) | 第三方 | 出处 | 最佳单一(非 meta)预测器,与另一非 meta 预测器并列;事后被评,非 CAGI 参赛者;原文未给总体名次 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。1 个计入(赛后复用 1)。
赛后数据复用(1)
- AlphaMissense:第三方事后评测、非参赛:原文把它列为表现最好的单一(非 meta)预测器,与另一个非 meta 预测器并列,落后两个 meta 预测器,且未给总体排名(第三方,置信度中;出处)
局限与注意
- 挑战小而异质、无统一分数:部分挑战仅几十个变异,评估者可事后清洗数据,且多数预测器训练时见过 ClinVar 或 HGMD
- AlphaMissense 在 CAGI6 是事后被评的最佳单一预测器(AUROC 0.88,第三方评估,2025),落后两个 meta 预测器,并非 60 个预测器中第一
- 绝对功能值校准差,调控变异与复杂性状预测弱;错义二分类已接近经验上限
- 没有按预测挑选变异再做实验的闭环,不能直接证明湿实验转化
新模型怎么用
只能参加下一届,或签数据使用协议后用已发布评估数据做事后检验(对训练截止较晚的模型已非盲测)。无需自出湿实验,但须写明届次、挑战与指标,并自查训练数据与评估集的重叠。可搭配 ProteinGym(离线功能)与 ClinVar 时间留出(临床)。
搭配:ProteinGym · ClinVar hold-out protocol · CAFA · CASP
来源
- CAGI 官网(官方网站)
- CAGI7 页面(官方网站)
- CAGI 挑战列表(官方网站)
- CAGI 总结论文,Genome Biology 25:53(2024)(期刊)
- CAGI6 Annotate-All-Missense 评估论文(Hum Genet 2025)(第三方论文)
- 同一评估论文期刊页(期刊)
- 首届赛季博客报道(二手)(二手)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2010 (fall); 2010-12-10 is the culminating Berkeley workshop, not the start | 2010 | 2010-12-10 伯克利闭幕研讨会不是首届开赛日,且无月份出处;只有年份就保留年份。 | 依据 | 2026-11-16 |
| first_release_basis | Pre-CAGI/CAGI1 workshop in Berkeley 2010-12-10 (first round organized fall 2010) | first CAGI season organised in 2010 (year-only evidence). The 2010-12-10 Berkeley workshop is the closing event, not the opening; no organiser page states the opening month. | 日期字段不再混入赛季或会议文字(DATE_AUDIT)。 | 依据 | 2026-11-16 |
| first_release | 2010-12-10 | 2010 (fall); 2010-12-10 is the culminating Berkeley workshop, not the start | 旧记录把 2010-12-10 闭幕研讨会当成首发;闭幕日不是开赛日。 | 依据 | 2026-11-16 |
| ranking / models_reported (AlphaMissense) | AlphaMissense ranked first of 60 predictors in CAGI6 | Best individual (non-meta) predictor, AUROC 0.88, tied with another non-meta predictor, behind two meta-predictors (0.92); evaluated post hoc, not a CAGI submitter; no overall rank stated in the paper | 变更集 §1.1:已发布的'60 个预测器中第一'有误;第三方评估论文只支持'最佳单一预测器、事后评估'。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。