模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

17 CAFA

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

蛋白功能(GO)预测的时间延迟前瞻盲测,真值为提交后新增的实验注释。未注释的术语被当作负例(开放世界问题);CAFA5/6 改为 Kaggle 竞赛,分数不能跨届比较;允许文本挖掘类参赛

bench-17 · 类型 A · 证据 L4 · 蛋白 · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 CAFA;全称:蛋白功能注释关键评估;别名:CAFA1、CAFA2、CAFA3、CAFA4、CAFA5、CAFA6、Critical Assessment of Functional Annotation
家族 否(单一周期性挑战;CAFA1–6 是同一挑战的各届,不是家族成员。)
领域 蛋白
类型 A:A 周期盲测挑战,每届新题新真值。时间延迟的周期盲测挑战
证据层级 L4(范围 L4–L5):CAFA3 附专设实验筛选,近 L5
发布方 CAFA organisers (ISCB Automated Function Prediction SIG)(学术实验室)
首次发布 †(未核实)(依据:开赛:CAFA1 目标于 2010-09-15 发布(组织方论文第 9 页)。2010-07-15 开放报名另列,不作首发。) 日级 2010-09-15 来自组织方论文,按月保留
其他里程碑 最早公开证据 †(未核实)(开放报名(2010 年公告的二手引述));期刊上线 †(未核实)(CAFA1 结果论文 Nature Methods 在线(二手引述));开赛 / 首批题目 †(未核实)(开赛:CAFA1 目标于 2010-09-15 发布(组织方论文第 9 页)。2010-07-15 开放报名另列,不作首发。)
最近更新 †(未核实),新一轮:CAFA6 在 Kaggle 开赛(奖金 5 万美元,据组织方邮件列表);最终结果未检出(无官方带日期记录,显示为未核实)。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(CAFA6 终评时间仅见聚合站(约 2026-05),组织方未公告。)
规模 CAFA2:126 个方法、3,681 个蛋白;CAFA5:1,600 余队;CAFA6 评估集规模未公布 明细:方法数(CAFA2) 126;评估蛋白(CAFA2) 3,681;参赛队(CAFA5) 1,600+;提交数(CAFA5) 2,850;评估集规模(CAFA6) not published
状态 ● 活跃:CAFA6 于 2025-10-16 在 Kaggle 开赛;截至 2026-11-16 官方结果未公布
wet lab 更新 累积:每 2–3 年一届;新真值是数据库积累的实验 GO 注释,非新实验,只能通过参加下一届获得
需自补 wet lab 不需要
报告模型数 0 个计入;另 1 条不计入(未证实 1)
当前排名 — 无排名(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:时间延迟的蛋白功能预测:给定序列预测 GO 术语,按提交后新增的实验注释评分
  • 真值:t0 至 t1 之间新入 UniProt/GOA 的实验证据 GO 注释,沿 GO 层级传播
  • 主指标:Fmax
  • 次指标:Smin(IA 加权);IA 加权 F-measure(CAFA5/6 Kaggle)
  • 版本陷阱:CAFA1–4 为学术提交加独立评估,CAFA5/6 为 Kaggle 竞赛,指标与榜单不同,分数不可跨届比较;须区分 no-knowledge 与 limited-knowledge

当前排名

状态:— 无排名

  • 指标:IA 加权 F-measure(CAFA-evaluator,Kaggle)
  • 评测集 / 口径:CAFA6 (Kaggle, launched 2025-10-16)
  • 快照日期:
  • 榜单页面

说明:CAFA6 最终榜单与获胜者无法获取;本站模型均未报 CAFA(SciReasoner 配对未证实);CAFA5 分数不可比

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
(individual Kaggle participant; interim)(非本站模型) 1 不显示†(未核实) IA 加权 F-measure(CAFA-evaluator,Kaggle) CAFA6 (Kaggle, launched 2025-10-16) 榜单 出处 非本站模型;剩余 57 天时经第三方聚合站抓取的临时公开榜快照,非最终;参赛者名省略

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。0 个计入;另 1 条不计入(未证实 1)。

未证实(1,不计数)

  • SciReasoner:基因本体预测的主测试集是一个第三方整理的集合,不是该赛事的官方盲测;赛事名称只出现在一处图注且无独立分数,若保留应按改动协议计(自报,置信度中;出处)

局限与注意

  1. 未注释的术语被当作负例(开放世界问题);CAFA5/6 改为 Kaggle 竞赛,分数不能跨届比较;允许文本挖掘类参赛
  2. Fmax 偏向浅层高频术语,排名随指标变化大
  3. CAFA5 头部队伍用文本挖掘把新论文当特征,时间上合法,但改变了任务含义
  4. CAFA2 到 CAFA3 头部改进小于前一届,CCO 无进步,瓶颈在标注而非模型
  5. CAFA3 有前瞻实验验证,但实验命中率与 Fmax 的对应关系未量化

新模型怎么用

只能参加下一届,或自建'旧快照训练、新快照评估'的时间切分,用 CAFA-evaluator 计算 Fmax 与 Smin,与 Naive、BLAST 基线同表,分别报告 no-knowledge 与 limited-knowledge 及 IA 加权版本。无需自补湿实验,但分数只反映已文献化的功能。

搭配:CASP · CAGI · ProteinGym

来源

  1. CAFA6 Kaggle 赛页(官方网站)
  2. CAFA6 组织方邮件列表公告(官方网站)
  3. CAFA 官网(官方网站)
  4. CAFA1 结果论文(Nature Methods 2013)(期刊)
  5. CAFA2 论文(PubMed)(期刊)
  6. CAFA3 论文(Genome Biology 2019)(期刊)
  7. 组织方论文存档(含 CAFA1 日期)(存档)
  8. ProtBoost(CAFA5 参赛队论文)(第三方论文)
  9. CAFA6 临时榜聚合页(二手)(二手)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
first_release 2010-09 (challenge began 2010-09-15; registration 2010-07-15) 2010-09 组织方存档论文(第 9 页)支持目标发布日 2010-09-15;7 月是报名,不是开赛。 依据 2026-11-16
first_release_basis CAFA1 organized fall 2010 to spring 2012 per secondary summaries; month not found challenge_open: CAFA1 targets released 2010-09-15 (organisers' paper, p. 9). Registration opened 2010-07-15, stored separately and not used as first release. basis 写明实际采用的里程碑。 依据 2026-11-16
first_release 2010-fall 2010-09 (challenge began 2010-09-15; registration 2010-07-15) 旧值'2010 秋'不是规范日期;按组织方资料细化到月份。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。