模型与 Benchmark板块首页
总览
AI for Bio benchmark 总览模型 × benchmark 配对矩阵训练数据从哪来:公开库、私有授权、自产 wet lab 与…模型索引:112 个模型按领域分组44 个 benchmark 的规模、更新与 wet la…
Benchmark 档案:核心 30 项
01 CASP02 ProteinGym03 MoleculeNet04 TDC05 PoseBusters06 CASF-201607 USPTO family08 Basenji/Enformer test set09 scIB10 GuacaMol11 ClinVar hold-out protocol12 DUD-E / LIT-PCBA13 CAGI14 PubMedQA15 CAMEO16 GUE + Nucleotide Transform…17 CAFA18 LAB-Bench / LABBench219 PMO20 CACHE21 DREAM5 / BEELINE / CausalB…22 CAPRI23 BioASQ24 虚拟细胞挑战赛与扰动预测评测25 RNA-Puzzles26 FLIP / FLIP227 Polaris / ASAP / OpenADMET28 Adaptyv competitions / Ben…29 BixBench30 PLINDER / PINDER / Runs N'…
Benchmark 档案:补充 14 项
31 FoldBench32 CrossDocked202033 PoseX34 AbBiBench35 FLAb / FLAb236 AIntibody37 TraitGym38 BEND39 RNAGym40 MotifBench41 BioML-bench42 BioMysteryBench43 Ginkgo GDPa144 FS-Mol
模型:结构/共折叠
AF2-Multimer:Google DeepMindAlphaFold 3BioEmu-2Boltz-1 / Boltz-1xBoltz-2:MIT、Recursion、Boltz P…Chai-1:Chai DiscoveryChai-2:Chai DiscoveryDiffDock:MIT CSAILESMFold2HelixFold-S1:BaiduIntelliFold-2:IntelliGen AIIsoDDE:Isomorphic LabsMassiveFoldNeuralPLexer3OpenComplex2OpenDDE:Aureka AI Research、Au…OpenFold3Pearl:Genesis Molecular AIProtenixRF3:University of Washington …RhoFold+ / DRfold2 / trRosett…RNAPro:NVIDIA、Stanford Univer…SeedFold:ByteDance SeedVina:Scripps Research
模型:小分子
ADMET-AIAQAffinity:SandboxAQBeacon:Inductive BioChemformer:AstraZenecaChemprop v2:MITEnchant v1 / v2ether0:FutureHouseKERMT:Merck & Co.、NVIDIAMiniMol:Valence LabsMolE:RecursionMoLFormer-XL:IBM ResearchNesso-1:Valence Labs、Recursio…ReaSyn v2:NVIDIA、KAISTREINVENT 4RetroDFM-RSaturn:EPFLTamGen:Microsoft Research AI …TerraBind:Terray TherapeuticsTxGemma:Google DeepMind、Googl…Uni-Mol2Uni-Mol3
模型:蛋白
AlphaProteoAMPLIFY:Mila、Polytechnique Mo…BindCraftBoltzGenChai-3:Chai DiscoveryClaude 蛋白设计研究DPLM-2:ByteDance Research、Nan…Dyno Psi-1 / Psi-PhiESM C:Evolutionary Scale、Chan…ESM3:Evolutionary Scale、Chan …EVOLVEproLa-Proteina:NVIDIALatent-X / X2:Latent LabsLucaOne:Alibaba Cloud、Sun Yat…Mosaic:Escalante BioPinal:Westlake UniversityPoET-2:OpenProtein.AIProfluent-E1:ProfluentProGen3:ProfluentProSST:Shanghai Jiao Tong Uni…Proteina-Complexa:NVIDIARFdiffusion2 / 3SaProt:Westlake University、We…SeedProteo:ByteDance SeedVenusREMxTrimoPGLM
模型:抗体
GerminalHCAbLM:Nona Biosciences、HBM H…IgGM / IgGM-FMJAM / JAM-2:Nabla BioOrigin-1:AbsciRFantibodytFold:Tencent AI for Life Sci…
模型:基因组/RNA
AlphaGenome:Google DeepMindAlphaMissense:Google DeepMindBioReasonBorzoi:Calico Life SciencesBulkFormerEvo 2:Arc Institute、NVIDIA、St…NTv3:InstaDeeppopEVE:Harvard Medical School…RIBOSPAN
模型:单细胞
AIDO Cell:GenBio AIC2S-ScaleCellFM:Sun Yat-sen University…Lingshu-CellscGPT / GeneformerscPRINT-2Stack:Arc InstituteSTATE:Arc InstituteTahoe-x1:Tahoe TherapeuticsTranscriptFormerX-Cell:Xaira TherapeuticsxTrimoSCPerturb / scFoundation
模型:分子生成
GenMol:NVIDIA
模型:文本与 agent
Biomni:Stanford University、Ph…Co-ScientistGPT-Rosalind:OpenAIIntern-SKosmos / Edison AnalysisMedGemma / Med-GeminiQuine:Microsoft ResearchRobin:FutureHouseSciReasonerTxAgent:Harvard Medical SchoolVERID:Google Research前沿通用大模型:Anthropic、OpenAI、Goog…

23 BioASQ

整理 2026-11-16 · 来源与可靠度标注见正文
本文目录
  1. 概况
  2. 测什么、怎么测
  3. 当前排名
  4. 报告过的模型
  5. 局限与注意
  6. 新模型怎么用
  7. 来源
  8. 更正记录

唯一年度滚动、专家出新题并人工评分的生物医学检索与问答挑战。分数对出题专家敏感:14b 中 64% 的题来自新专家,list/factoid 最高均值低于上一届,跨年不可比。

bench-23 · 类型 A+B · 证据 L1 · 文本与 agent · 核心 30 项 · 截至 2026-11-16

概况

字段 内容
名称 / 别名 BioASQ;全称:BioASQ 生物医学语义索引与问答挑战;别名:BioASQ 14、BioASQ 13、Task 14b、BioASQ-QA、Synergy task;有歧义、不自动链接:Task a、Task b
家族 否(单一年度挑战的历届赛季,不是家族条目;历年题库另以静态数据集发布。)
领域 文本与 agent
类型 A+B:A 周期盲测挑战,每届新题新真值;B 静态数据集套件。年度挑战,历年题库公开为静态集
证据层级 L1(范围 L1–L4):文献知识复现;每批新题近似盲测
发布方 BioASQ consortium、National Centre for Scientific Research Demokritos、Athens University of Economics and Business(学术实验室)
首次发布 †(未核实)(依据:首届 BioASQ 挑战(CLEF 2013 lab;欧盟项目 2012 年 10 月启动),月份无一手出处)
其他里程碑 期刊上线 †(未核实)(首届挑战的结果论文(仅年份));开赛 / 首批题目 †(未核实)(官方站 workshop 列表中最早的一届)
最近更新 ,结果公布:BioASQ 14(CLEF 2026)综述论文发表于 CEUR Vol-4283,含 Task 14b 预备结果;各任务在 2026 年春季运行。(CLEF 会议日期(2026-09-21 至 24)是会议事件,不是 benchmark 事件。)。此为最近一次有出处的事件,不代表此后没有更新
下一次预期 无公告(未检出 BioASQ 15 的公告,官方站仅有一个占位页。)
规模 14b:训练 5,729 题、测试 280 题(4 批)、151 个系统、821 次提交。 明细:训练题数(14b) 5729;测试题数(4 批:80/80/60/60)(14b) 280;参赛系统(14b) 151;提交次数(14b) 821;参赛队(问答部分 48 队)(BioASQ 14) 87
状态 ● 活跃:活跃:第 14 届于 2026-09 公布综述与预备结果
wet lab 更新 累积:否:每年新增约 280 道专家出题,真值是专家标注的文献,不是湿实验数据。
需自补 wet lab 不需要
报告模型数 0 个计入;另 8 条不计入(未证实 8)
当前排名 ▣ 榜单(见当前排名)
全站实体页 无(全站 /entities/ 体系中没有该 benchmark 的页面。)
截至 2026-11-16

测什么、怎么测

  • 任务:Task b 分阶段:检索 PubMed 文档与片段,或在给定金标材料下作答;题型为 yes/no、factoid、list、summary。
  • 真值:生物医学专家撰写的问题及其金标文档、片段与答案,评测后由专家补充遗漏项再定稿。
  • 主指标:yes/no macro-F1;检索 MAP/F1
  • 次指标:factoid MRR;list F1;summary 的人工评分与 ROUGE
  • 版本陷阱:分数对出题专家敏感,跨年不可直接比;必须写明届次、批次与阶段(A、A+、B),并区分 BLURB 的 yes/no 切片。

当前排名

状态:▣ 榜单

  • 指标:yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1
  • 评测集 / 口径:BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results
  • 快照日期:†(未核实)
  • 榜单页面

当前第一:mckpt2,Yes/No F1 0.9481, Acc. 0.9524; Factoid MRR 0.2000; List F1 0.1537(yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1;BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results;榜单;†(未核实))

本站最佳:MedQA-1 (university team; phase B uses a frontier-LLM ensemble)(第 3 名)

说明:官方榜按批次排提交的系统而非底层模型,14b 结果为预备值(专家复评后才定稿);跨年分数不可比。

模型 名次 数值 指标 评测集 / 口径 来源类型 日期 出处 说明
mckpt2(非本站模型) 1 Yes/No F1 0.9481, Acc. 0.9524; Factoid MRR 0.2000; List F1 0.1537 yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results 榜单 出处 非本站模型;表 7(阶段 A+,第 2 批)首位,yes/no F1 与另一系统并列。
MedQA-1 (university team; phase B uses a frontier-LLM ensemble) 3 Yes/No F1 0.9443, Acc. 0.9524; Factoid MRR 0.4000; List F1 0.3551 yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results 榜单 出处 表 7 阶段 A+ 第 2 批第 3 行;0.9443 为多系统并列,名次只是列表位置。榜单排的是提交系统,模型归属取自系统描述。
dictycite-baseline(非本站模型) 1 Yes/No F1 1.0000, Acc. 1.0000; Factoid MRR 0.3000; List F1 0.4301 yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results 榜单 出处 非本站模型;表 8(阶段 B,第 2 批)首位。
MedQA-1 — Yes/No F1 0.9443, Acc. 0.9524; Factoid MRR 0.4000; List F1 0.4433 yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results 榜单 出处 表 8 阶段 B 第 2 批;yes/no F1 0.9443 为多系统并列,无唯一名次。
MedGemma-27B-IT as a component of participant systems — 不显示:无单模型数值可引,不显示分数。†(未核实) yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results 第三方 出处 无单模型成绩:官方榜给整套系统计分,所读的第 2 批指示性表格里也没有相关行。

排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。

报告过的模型

按关系类型分组;计数口径见配对矩阵。0 个计入;另 8 条不计入(未证实 8)。

未证实(8,不计数)

  • Co-Scientist:官方材料中未检出其报告。(未知,置信度高,未核实†;出处)
  • GPT-Rosalind:官方页与转述均无报告,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
  • Intern-S:官方仓库与三篇论文的可读正文均未出现该评测的报分(未知,置信度高;出处)
  • MedGemma / Med-Gemini:BioASQ 综述只排系统,未报 MedGemma 单模型结果;站上矩阵"三"无依据(未知,置信度高,未核实†;出处)
  • Quine:官方材料中未检出其报告。(未知,置信度高,未核实†;出处)
  • SciReasoner:论文正文未出现,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
  • VERID:官方材料(博客与论文)未检出该评测的报分(未知,置信度高;出处)
  • 前沿通用大模型:BioASQ 综述只排系统,不排基座模型(未知,置信度高,未核实†;出处)

局限与注意

  1. 分数对出题专家敏感:14b 中 64% 的题来自新专家,list/factoid 最高均值低于上一届,跨年不可比。
  2. yes/no 每批仅 11–21 题,一题相当于 5–9 个百分点,官方不给置信区间或显著性检验。
  3. 历年题库公开,LLM 训练语料极可能含往届题与答案,污染量无人量化。
  4. 榜单排的是整套系统(含检索、重排、集成),读不出单个模型的成绩。
  5. 语料限于 PubMed 摘要而非全文;无湿实验转化证据,只是文献能力的代理。

新模型怎么用

不需湿实验。严格比较要等官方提交窗口;离线评估可把最新一批当未污染保留集,但该保留集对 LLM 只在当届有效。必须同时报阶段 A、A+ 与 B,只看 B 看不到检索错误的累积;注册免费,批内提交限时。

搭配:PubMedQA · LAB-Bench / LABBench2 · BioMysteryBench

来源

  1. BioASQ 14 综述论文(CEUR Vol-4283)(论文),†(未核实)
  2. BioASQ 13 综述论文(预印本)
  3. BioASQ 官方站(官方网站)
  4. 首届挑战结果论文(期刊)
  5. BioASQ-QA 数据集论文(期刊)
  6. Task a 终止说明(预印本)
  7. LLM 在 BioASQ 上的第三方评测(第三方论文)

更正记录

以下为本轮核对中改过的字段,原值按记录照录。

字段 原 现 原因 出处 发现日期
latest_update 2026-09-21 2026-09 2026-09-21 是 CLEF 会议开幕日,不是数据或 benchmark 事件;可证事件是综述论文,精度为月。 依据 2026-11-16
latest_update_desc BioASQ 14 (CLEF 2026, Jena, 21-24 Sep) concluded; overview paper in CEUR-WS Vol-4283; six tasks incl. new MultiClinSum-2, BioNNE-R, ELCardioCC, GutBrainIE. BioASQ 14 (CLEF 2026) overview paper published in CEUR Vol-4283 with preliminary Task 14b results; tasks ran spring 2026. CLEF meeting (Jena, 2026-09-21..24) is a conference date, not a benchmark event. 说明随日期改写,明确会议日期不是 benchmark 事件。 依据 2026-11-16
latest_update_kind new-round results-published 事件性质是公布轮次结果,故 kind 改为结果发布。 依据 2026-11-16
ranking.entries MedQA-1 list F1 0.325 0.3551 (Table 7, phase A+, batch 2) 站上数值与综述表 7 不符,按一手表格取值。 依据 2026-11-16
models_reported MedGemma / Med-Gemini marked as a board pairing in the matrix disputed-or-unconfirmed: the overview scores whole systems and reports no standalone figure 官方榜不给单模型成绩,矩阵中的榜单标记无出处支撑(R7 待处理项)。 依据 2026-11-16
models_reported frontier LLMs marked as a board pairing disputed-or-unconfirmed: systems are ranked, not base LLMs 参赛系统包含检索与集成,不能读作单个 LLM 的榜单成绩。 依据 2026-11-16

本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。