23 BioASQ
唯一年度滚动、专家出新题并人工评分的生物医学检索与问答挑战。分数对出题专家敏感:14b 中 64% 的题来自新专家,list/factoid 最高均值低于上一届,跨年不可比。
bench-23 · 类型 A+B · 证据 L1 · 文本与 agent · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | BioASQ;全称:BioASQ 生物医学语义索引与问答挑战;别名:BioASQ 14、BioASQ 13、Task 14b、BioASQ-QA、Synergy task;有歧义、不自动链接:Task a、Task b |
| 家族 | 否(单一年度挑战的历届赛季,不是家族条目;历年题库另以静态数据集发布。) |
| 领域 | 文本与 agent |
| 类型 | A+B:A 周期盲测挑战,每届新题新真值;B 静态数据集套件。年度挑战,历年题库公开为静态集 |
| 证据层级 | L1(范围 L1–L4):文献知识复现;每批新题近似盲测 |
| 发布方 | BioASQ consortium、National Centre for Scientific Research Demokritos、Athens University of Economics and Business(学术实验室) |
| 首次发布 | †(未核实)(依据:首届 BioASQ 挑战(CLEF 2013 lab;欧盟项目 2012 年 10 月启动),月份无一手出处) |
| 其他里程碑 | 期刊上线 †(未核实)(首届挑战的结果论文(仅年份));开赛 / 首批题目 †(未核实)(官方站 workshop 列表中最早的一届) |
| 最近更新 | ,结果公布:BioASQ 14(CLEF 2026)综述论文发表于 CEUR Vol-4283,含 Task 14b 预备结果;各任务在 2026 年春季运行。(CLEF 会议日期(2026-09-21 至 24)是会议事件,不是 benchmark 事件。)。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(未检出 BioASQ 15 的公告,官方站仅有一个占位页。) |
| 规模 | 14b:训练 5,729 题、测试 280 题(4 批)、151 个系统、821 次提交。 明细:训练题数(14b) 5729;测试题数(4 批:80/80/60/60)(14b) 280;参赛系统(14b) 151;提交次数(14b) 821;参赛队(问答部分 48 队)(BioASQ 14) 87 |
| 状态 | ● 活跃:活跃:第 14 届于 2026-09 公布综述与预备结果 |
| wet lab 更新 | 累积:否:每年新增约 280 道专家出题,真值是专家标注的文献,不是湿实验数据。 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 0 个计入;另 8 条不计入(未证实 8) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:Task b 分阶段:检索 PubMed 文档与片段,或在给定金标材料下作答;题型为 yes/no、factoid、list、summary。
- 真值:生物医学专家撰写的问题及其金标文档、片段与答案,评测后由专家补充遗漏项再定稿。
- 主指标:yes/no macro-F1;检索 MAP/F1
- 次指标:factoid MRR;list F1;summary 的人工评分与 ROUGE
- 版本陷阱:分数对出题专家敏感,跨年不可直接比;必须写明届次、批次与阶段(A、A+、B),并区分 BLURB 的 yes/no 切片。
当前排名
状态:▣ 榜单
- 指标:yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1
- 评测集 / 口径:BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results
- 快照日期:†(未核实)
- 榜单页面
当前第一:mckpt2,Yes/No F1 0.9481, Acc. 0.9524; Factoid MRR 0.2000; List F1 0.1537(yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1;BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results;榜单;†(未核实))
本站最佳:MedQA-1 (university team; phase B uses a frontier-LLM ensemble)(第 3 名)
说明:官方榜按批次排提交的系统而非底层模型,14b 结果为预备值(专家复评后才定稿);跨年分数不可比。
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| mckpt2(非本站模型) | 1 | Yes/No F1 0.9481, Acc. 0.9524; Factoid MRR 0.2000; List F1 0.1537 | yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 | BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results | 榜单 | 出处 | 非本站模型;表 7(阶段 A+,第 2 批)首位,yes/no F1 与另一系统并列。 | |
| MedQA-1 (university team; phase B uses a frontier-LLM ensemble) | 3 | Yes/No F1 0.9443, Acc. 0.9524; Factoid MRR 0.4000; List F1 0.3551 | yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 | BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results | 榜单 | 出处 | 表 7 阶段 A+ 第 2 批第 3 行;0.9443 为多系统并列,名次只是列表位置。榜单排的是提交系统,模型归属取自系统描述。 | |
| dictycite-baseline(非本站模型) | 1 | Yes/No F1 1.0000, Acc. 1.0000; Factoid MRR 0.3000; List F1 0.4301 | yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 | BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results | 榜单 | 出处 | 非本站模型;表 8(阶段 B,第 2 批)首位。 | |
| MedQA-1 | — | Yes/No F1 0.9443, Acc. 0.9524; Factoid MRR 0.4000; List F1 0.4433 | yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 | BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results | 榜单 | 出处 | 表 8 阶段 B 第 2 批;yes/no F1 0.9443 为多系统并列,无唯一名次。 | |
| MedGemma-27B-IT as a component of participant systems | — | 不显示:无单模型数值可引,不显示分数。†(未核实) | yes/no macro-F1(表 7、8 的排序依据),另含 factoid MRR 与 list F1 | BioASQ Task 14b batch 2 exact answers, phase A+ (Table 7) and phase B (Table 8); preliminary results | 第三方 | 出处 | 无单模型成绩:官方榜给整套系统计分,所读的第 2 批指示性表格里也没有相关行。 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。0 个计入;另 8 条不计入(未证实 8)。
未证实(8,不计数)
- Co-Scientist:官方材料中未检出其报告。(未知,置信度高,未核实†;出处)
- GPT-Rosalind:官方页与转述均无报告,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
- Intern-S:官方仓库与三篇论文的可读正文均未出现该评测的报分(未知,置信度高;出处)
- MedGemma / Med-Gemini:BioASQ 综述只排系统,未报 MedGemma 单模型结果;站上矩阵"三"无依据(未知,置信度高,未核实†;出处)
- Quine:官方材料中未检出其报告。(未知,置信度高,未核实†;出处)
- SciReasoner:论文正文未出现,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
- VERID:官方材料(博客与论文)未检出该评测的报分(未知,置信度高;出处)
- 前沿通用大模型:BioASQ 综述只排系统,不排基座模型(未知,置信度高,未核实†;出处)
局限与注意
- 分数对出题专家敏感:14b 中 64% 的题来自新专家,list/factoid 最高均值低于上一届,跨年不可比。
- yes/no 每批仅 11–21 题,一题相当于 5–9 个百分点,官方不给置信区间或显著性检验。
- 历年题库公开,LLM 训练语料极可能含往届题与答案,污染量无人量化。
- 榜单排的是整套系统(含检索、重排、集成),读不出单个模型的成绩。
- 语料限于 PubMed 摘要而非全文;无湿实验转化证据,只是文献能力的代理。
新模型怎么用
不需湿实验。严格比较要等官方提交窗口;离线评估可把最新一批当未污染保留集,但该保留集对 LLM 只在当届有效。必须同时报阶段 A、A+ 与 B,只看 B 看不到检索错误的累积;注册免费,批内提交限时。
搭配:PubMedQA · LAB-Bench / LABBench2 · BioMysteryBench
来源
- BioASQ 14 综述论文(CEUR Vol-4283)(论文),†(未核实)
- BioASQ 13 综述论文(预印本)
- BioASQ 官方站(官方网站)
- 首届挑战结果论文(期刊)
- BioASQ-QA 数据集论文(期刊)
- Task a 终止说明(预印本)
- LLM 在 BioASQ 上的第三方评测(第三方论文)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| latest_update | 2026-09-21 | 2026-09 | 2026-09-21 是 CLEF 会议开幕日,不是数据或 benchmark 事件;可证事件是综述论文,精度为月。 | 依据 | 2026-11-16 |
| latest_update_desc | BioASQ 14 (CLEF 2026, Jena, 21-24 Sep) concluded; overview paper in CEUR-WS Vol-4283; six tasks incl. new MultiClinSum-2, BioNNE-R, ELCardioCC, GutBrainIE. | BioASQ 14 (CLEF 2026) overview paper published in CEUR Vol-4283 with preliminary Task 14b results; tasks ran spring 2026. CLEF meeting (Jena, 2026-09-21..24) is a conference date, not a benchmark event. | 说明随日期改写,明确会议日期不是 benchmark 事件。 | 依据 | 2026-11-16 |
| latest_update_kind | new-round | results-published | 事件性质是公布轮次结果,故 kind 改为结果发布。 | 依据 | 2026-11-16 |
| ranking.entries | MedQA-1 list F1 0.325 | 0.3551 (Table 7, phase A+, batch 2) | 站上数值与综述表 7 不符,按一手表格取值。 | 依据 | 2026-11-16 |
| models_reported | MedGemma / Med-Gemini marked as a board pairing in the matrix | disputed-or-unconfirmed: the overview scores whole systems and reports no standalone figure | 官方榜不给单模型成绩,矩阵中的榜单标记无出处支撑(R7 待处理项)。 | 依据 | 2026-11-16 |
| models_reported | frontier LLMs marked as a board pairing | disputed-or-unconfirmed: systems are ranked, not base LLMs | 参赛系统包含检索与集成,不能读作单个 LLM 的榜单成绩。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。