17 CAFA
蛋白功能(GO)预测的时间延迟前瞻盲测,真值为提交后新增的实验注释。未注释的术语被当作负例(开放世界问题);CAFA5/6 改为 Kaggle 竞赛,分数不能跨届比较;允许文本挖掘类参赛
bench-17 · 类型 A · 证据 L4 · 蛋白 · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | CAFA;全称:蛋白功能注释关键评估;别名:CAFA1、CAFA2、CAFA3、CAFA4、CAFA5、CAFA6、Critical Assessment of Functional Annotation |
| 家族 | 否(单一周期性挑战;CAFA1–6 是同一挑战的各届,不是家族成员。) |
| 领域 | 蛋白 |
| 类型 | A:A 周期盲测挑战,每届新题新真值。时间延迟的周期盲测挑战 |
| 证据层级 | L4(范围 L4–L5):CAFA3 附专设实验筛选,近 L5 |
| 发布方 | CAFA organisers (ISCB Automated Function Prediction SIG)(学术实验室) |
| 首次发布 | †(未核实)(依据:开赛:CAFA1 目标于 2010-09-15 发布(组织方论文第 9 页)。2010-07-15 开放报名另列,不作首发。) 日级 2010-09-15 来自组织方论文,按月保留 |
| 其他里程碑 | 最早公开证据 †(未核实)(开放报名(2010 年公告的二手引述));期刊上线 †(未核实)(CAFA1 结果论文 Nature Methods 在线(二手引述));开赛 / 首批题目 †(未核实)(开赛:CAFA1 目标于 2010-09-15 发布(组织方论文第 9 页)。2010-07-15 开放报名另列,不作首发。) |
| 最近更新 | †(未核实),新一轮:CAFA6 在 Kaggle 开赛(奖金 5 万美元,据组织方邮件列表);最终结果未检出(无官方带日期记录,显示为未核实)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(CAFA6 终评时间仅见聚合站(约 2026-05),组织方未公告。) |
| 规模 | CAFA2:126 个方法、3,681 个蛋白;CAFA5:1,600 余队;CAFA6 评估集规模未公布 明细:方法数(CAFA2) 126;评估蛋白(CAFA2) 3,681;参赛队(CAFA5) 1,600+;提交数(CAFA5) 2,850;评估集规模(CAFA6) not published |
| 状态 | ● 活跃:CAFA6 于 2025-10-16 在 Kaggle 开赛;截至 2026-11-16 官方结果未公布 |
| wet lab 更新 | 累积:每 2–3 年一届;新真值是数据库积累的实验 GO 注释,非新实验,只能通过参加下一届获得 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 0 个计入;另 1 条不计入(未证实 1) |
| 当前排名 | — 无排名(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:时间延迟的蛋白功能预测:给定序列预测 GO 术语,按提交后新增的实验注释评分
- 真值:t0 至 t1 之间新入 UniProt/GOA 的实验证据 GO 注释,沿 GO 层级传播
- 主指标:Fmax
- 次指标:Smin(IA 加权);IA 加权 F-measure(CAFA5/6 Kaggle)
- 版本陷阱:CAFA1–4 为学术提交加独立评估,CAFA5/6 为 Kaggle 竞赛,指标与榜单不同,分数不可跨届比较;须区分 no-knowledge 与 limited-knowledge
当前排名
状态:— 无排名
- 指标:IA 加权 F-measure(CAFA-evaluator,Kaggle)
- 评测集 / 口径:CAFA6 (Kaggle, launched 2025-10-16)
- 快照日期:
- 榜单页面
说明:CAFA6 最终榜单与获胜者无法获取;本站模型均未报 CAFA(SciReasoner 配对未证实);CAFA5 分数不可比
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| (individual Kaggle participant; interim)(非本站模型) | 1 | 不显示†(未核实) | IA 加权 F-measure(CAFA-evaluator,Kaggle) | CAFA6 (Kaggle, launched 2025-10-16) | 榜单 | 出处 | 非本站模型;剩余 57 天时经第三方聚合站抓取的临时公开榜快照,非最终;参赛者名省略 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入;另 1 条不计入(未证实 1)。
未证实(1,不计数)
- SciReasoner:基因本体预测的主测试集是一个第三方整理的集合,不是该赛事的官方盲测;赛事名称只出现在一处图注且无独立分数,若保留应按改动协议计(自报,置信度中;出处)
局限与注意
- 未注释的术语被当作负例(开放世界问题);CAFA5/6 改为 Kaggle 竞赛,分数不能跨届比较;允许文本挖掘类参赛
- Fmax 偏向浅层高频术语,排名随指标变化大
- CAFA5 头部队伍用文本挖掘把新论文当特征,时间上合法,但改变了任务含义
- CAFA2 到 CAFA3 头部改进小于前一届,CCO 无进步,瓶颈在标注而非模型
- CAFA3 有前瞻实验验证,但实验命中率与 Fmax 的对应关系未量化
新模型怎么用
只能参加下一届,或自建'旧快照训练、新快照评估'的时间切分,用 CAFA-evaluator 计算 Fmax 与 Smin,与 Naive、BLAST 基线同表,分别报告 no-knowledge 与 limited-knowledge 及 IA 加权版本。无需自补湿实验,但分数只反映已文献化的功能。
搭配:CASP · CAGI · ProteinGym
来源
- CAFA6 Kaggle 赛页(官方网站)
- CAFA6 组织方邮件列表公告(官方网站)
- CAFA 官网(官方网站)
- CAFA1 结果论文(Nature Methods 2013)(期刊)
- CAFA2 论文(PubMed)(期刊)
- CAFA3 论文(Genome Biology 2019)(期刊)
- 组织方论文存档(含 CAFA1 日期)(存档)
- ProtBoost(CAFA5 参赛队论文)(第三方论文)
- CAFA6 临时榜聚合页(二手)(二手)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2010-09 (challenge began 2010-09-15; registration 2010-07-15) | 2010-09 | 组织方存档论文(第 9 页)支持目标发布日 2010-09-15;7 月是报名,不是开赛。 | 依据 | 2026-11-16 |
| first_release_basis | CAFA1 organized fall 2010 to spring 2012 per secondary summaries; month not found | challenge_open: CAFA1 targets released 2010-09-15 (organisers' paper, p. 9). Registration opened 2010-07-15, stored separately and not used as first release. | basis 写明实际采用的里程碑。 | 依据 | 2026-11-16 |
| first_release | 2010-fall | 2010-09 (challenge began 2010-09-15; registration 2010-07-15) | 旧值'2010 秋'不是规范日期;按组织方资料细化到月份。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。