14 PubMedQA
给定 PubMed 摘要回答是/否/也许的 500 题测试集;头部分数已挤在噪声内。500 题测试集的标准误约 ±1.9 个百分点,头部分数无法区分;榜单混合不同提示方法,公开数据可能已进入训练集
bench-14 · 类型 B+E · 证据 L1 · 文本与 agent · 核心 30 项 · 截至 2026-11-16
概况
| 字段 | 内容 |
|---|---|
| 名称 / 别名 | PubMedQA;别名:PQA-L、PQA-U、PQA-A |
| 家族 | 否(单一静态数据集,无家族成员。) |
| 领域 | 文本与 agent |
| 类型 | B+E:B 静态数据集套件;E agent 与 LLM 的任务环境。静态文本数据集,常作 LLM 评测行 |
| 证据层级 | L1 |
| 发布方 | University of Pittsburgh、Carnegie Mellon University(学术实验室) |
| 首次发布 | (依据:PubMedQA 论文 arXiv v1(2019-09-13);GitHub 首次提交 2019-08-23 只作记录(仓库事件不作首发证据)。) |
| 其他里程碑 | 最早公开证据 约 2019†(未核实)(GitHub 仓库首次提交(仓库事件,不作首发证据));预印本 v1 (PubMedQA 论文 arXiv v1(2019-09-13);GitHub 首次提交 2019-08-23 只作记录(仓库事件不作首发证据)。);期刊上线 †(未核实)(EMNLP-IJCNLP 2019 会议论文) |
| 最近更新 | ,仅维护:数据仓库 README 修改(2023-04-18);数据集自 2019 年冻结。此为最近一次有出处的事件。此为最近一次有出处的事件,不代表此后没有更新 |
| 下一次预期 | 无公告(数据集已冻结,无组织方公告。) |
| 规模 | PQA-L 1.0k 专家标注(测试 500)、PQA-U 61.2k、PQA-A 211.3k 明细:专家标注题(PQA-L)(PQA-L) 1,000;测试集(PQA-L) 500 questions;无标签题(PQA-U)(PQA-U) 61.2k;自动生成题(PQA-A)(PQA-A) 211.3k;标签分布 yes/no/maybe(PQA-L) 55.2% / 33.8% / 11.0% |
| 状态 | ○ 冻结:已饱和;官方榜最新条目为 2024-04-18 |
| wet lab 更新 | 静态:无;固定的专家标注文本数据 |
| 需自补 wet lab | 不需要 |
| 报告模型数 | 2 个计入(自报 2);另 6 条不计入(未证实 6) |
| 当前排名 | ▣ 榜单(见当前排名) |
| 全站实体页 | 无(全站 /entities/ 体系中没有该 benchmark 的页面。) |
| 截至 | 2026-11-16 |
测什么、怎么测
- 任务:根据 PubMed 摘要回答是/否/也许,测对研究结论的阅读理解
- 真值:两名标注者对作者结论方向的归类(PQA-L),作者自估残余错误约 1%
- 主指标:accuracy(reasoning-required 设定)
- 次指标:macro-F1
- 版本陷阱:须写明设定(reasoning-required 或 free)、零样本或少样本、微调、检索或集成,以及是否用过 train split
当前排名
状态:▣ 榜单
- 指标:accuracy(%)(macro-F1 多数未报),reasoning-required 设定
- 评测集 / 口径:PQA-L test (500 questions)
- 快照日期:(旧:早于截至日 12 个月以上)
- 榜单页面
当前第一:GPT-4 (Medprompt),82.0(accuracy(%)(macro-F1 多数未报),reasoning-required 设定;PQA-L test (500 questions);榜单;;旧)
说明:榜单最新条目 2024-04-18,无更新的前沿推理模型;混合零样本、少样本、微调与集成,均为自行提交;前五名差约 1.4 点,小于 500 题约 ±1.9 点的二项标准误
| 模型 | 名次 | 数值 | 指标 | 评测集 / 口径 | 来源类型 | 日期 | 出处 | 说明 |
|---|---|---|---|---|---|---|---|---|
| GPT-4 (Medprompt) | 1 | 82.0 | accuracy(%)(macro-F1 多数未报),reasoning-required 设定 | PQA-L test (500 questions) | 榜单 | 出处 | 总榜第一;提示工程加集成,自行提交 | |
| GPT-4-base | 6 | 80.4 | accuracy(%)(macro-F1 多数未报),reasoning-required 设定 | PQA-L test (500 questions) | 榜单 | 出处 | — | |
| Claude 3 | 7 | 79.7 | accuracy(%)(macro-F1 多数未报),reasoning-required 设定 | PQA-L test (500 questions) | 榜单 | 出处 | — | |
| GPT-4 | 16 | 75.2 | accuracy(%)(macro-F1 多数未报),reasoning-required 设定 | PQA-L test (500 questions) | 榜单 | 出处 | 零样本 | |
| MedGemma 27B (text-it) | — | 76.8 | accuracy(%)(macro-F1 多数未报),reasoning-required 设定 | PQA-L test (500 questions) | 自报 | 出处 | 不在官方榜;来自 HF 模型卡(Gemma 3 27B 为 73.4);训练数据含 PubMedQA train split | |
| Gemini 3 Pro | — | 不显示†(未核实) | accuracy(%)(macro-F1 多数未报),reasoning-required 设定 | PQA-L test (500 questions) | 自报(二手) | 出处 | 不在官方榜;来自本站笔记,未复核 |
排名数据读取于 2026-11-16。分数原样照录,不换算、不跨 benchmark 比较。
报告过的模型
按关系类型分组;计数口径见配对矩阵。2 个计入(自报 2);另 6 条不计入(未证实 6)。
开发方按官方口径自报(2)
- MedGemma / Med-Gemini:开发方按官方口径自报(MedGemma 各版本);Med-Gemini 未报(自报,置信度高;出处)
- 前沿通用大模型:Google 在 MedGemma 1.5 报告中自报 Gemini 3 数字;无官方榜,Claude/GPT 无厂商数字(自报,置信度中,未核实†;出处)
未证实(6,不计数)
- Co-Scientist:官方材料中未检出相关报告(未知,置信度高,未核实†;出处)
- GPT-Rosalind:官方页与转述均无报告,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
- Intern-S:官方仓库与三篇论文的可读正文均未出现该评测的报分(未知,置信度高;出处)
- Quine:官方材料中未检出相关报告(未知,置信度高,未核实†;出处)
- SciReasoner:论文正文未出现,该格仅据本站页面判定,须显示未证实(二手,置信度高;出处)
- VERID:官方材料(博客与论文)未检出该评测的报分(未知,置信度高;出处)
局限与注意
- 500 题测试集的标准误约 ±1.9 个百分点,头部分数无法区分;榜单混合不同提示方法,公开数据可能已进入训练集
- 单人标注者基线 78.0 是下界,超过不代表超人;多数 LLM 条目只报 accuracy,看不出 maybe 类是否学会
- MedGemma 训练数据含 PubMedQA train split,此类分数不能视为零污染的泛化成绩
- 聚合站给出的 87–95% 集成或知识图谱数字无法对原文核实,不采用
- 只测摘要结论的阅读理解,不测实验设计或证据综合;无湿实验转化证据
新模型怎么用
下载 PQA-L,在 500 题测试集上评测;报告 accuracy 与 macro-F1、提示模板与设定,并用 bootstrap 给置信区间。上榜需把预测与系统描述提交给作者。只适合粗筛与小模型对比,不适合区分前沿模型;可搭配 BioASQ 与 LAB-Bench 的 LitQA。
搭配:BioASQ · LAB-Bench / LABBench2 · BixBench
来源
- PubMedQA 原论文 arXiv 1909.06146(预印本)
- EMNLP-IJCNLP 2019 会议版(论文)
- PubMedQA 官方榜(榜单)
- PubMedQA 数据仓库(仓库)
- MedGemma 技术报告(开发方)(预印本)
- MedGemma 27B 模型卡(开发方)(仓库)
- MedGemma 1.5 报告(含 Gemini 3 自报数字)(预印本)
更正记录
以下为本轮核对中改过的字段,原值按记录照录。
| 字段 | 原 | 现 | 原因 | 出处 | 发现日期 |
|---|---|---|---|---|---|
| first_release | 2019-08-23 | 2019-09-13 | 旧值是 GitHub 首次提交;按约定仓库创建或首次提交不作首发证据,改用论文 v1。 | 依据 | 2026-11-16 |
| first_release_basis | GitHub repo initial commit (data pushed 2019-08-24); arXiv/EMNLP 2019 | arXiv v1 of the PubMedQA paper (2019-09-13); GitHub initial commit 2019-08-23 kept as a note only (repo creation excluded as evidence). | basis 与首发口径对齐。 | 依据 | 2026-11-16 |
| latest_update_desc | README edit only; data frozen since 2019. | README edit on the data repository (2023-04-18); dataset itself frozen since 2019. 'Most recent sourced event' only - no claim that nothing happened later. | 按 latest_update 语义,替换'此后无更新'式表述(DATE_AUDIT)。 | 依据 | 2026-11-16 |
| latest_update_kind | none-since-release | code-maintenance-only | README 修改是文档维护事件,不是'发布后无更新'。 | 依据 | 2026-11-16 |
| status_note | Official leaderboard last updated November 2023 | Newest official-board entry dated 2024-04-18 | 排名核对发现官方榜最新条目为 2024-04-18,晚于旧说明中的 2023-11。 | 依据 | 2026-11-16 |
本文为个人研究笔记,结论基于成文时可获得的公开信息;带〔估算〕〔推断〕或⚠️的数字未经独立核实。