LAB-Bench

内容与规模

FutureHouse 发布（arXiv 2407.10362）：2,457 题（论文口径"2,400+"），8 类 30 子任务，含 LitQA2、DbQA、SuppQA、FigQA、TableQA、ProtocolQA、SeqQA、Cloning Scenarios 等 [1][2]。后继 LABBench2 约 1,900 任务，各子任务模型准确率较原版低 26–46 个百分点 [1]。

真值来源与是否盲测

专家出题的预写答案，无湿实验闭环。GitHub 公开约 80%，20% 私留用于监测污染 [1][2]，但未见公开的污染检测结果。

谁用它发布结果、运营方是否同时是服务商

运营方 FutureHouse / Edison Scientific 同时开发科学 agent 产品，既出题又可能参评；与 BixBench 同源。模型厂商常用它报告生物能力。

缺陷

偏知识与推理（选择题/短答），不评执行；题目一旦进入训练语料即可能污染；私留集仅能事后监测。

来源

1. https://github.com/Future-House/LAB-Bench (2026-10-15)
2. https://futurehouse.org/articles/lab-bench-measuring-capabilities-of-language-models-for-biology-research (2026-10-15)