BixBench

内容与规模

FutureHouse 发布（arXiv 2503.00096）：53 个分析场景、近 300 个开放问题，要求 agent 执行代码并解读真实数据。初版最佳模型约 17%，选择题形式不优于随机 [1]。另有"205 题"的说法，可能是清洗版，未核实，不作总题数 ⚠️。

真值来源与是否盲测

预先写定的答案，无湿实验闭环；不是前瞻盲测。

谁用它发布结果、运营方是否同时是服务商

运营方 FutureHouse/Edison 同时是被评产品 Edison Analysis 的开发方 FutureHouse / Edison Scientific。第三方 Phylo 的评测（自评）：Biomni Lab 52.2%、Edison Analysis 42.4%、Claude 编码 agent（Opus 4.6）39.5% [2]。BixBench-Verified-50 子集被供应商报 92%，作者论"饱和"（供应商自报）；BixBench3（Edison，2026-08，20 任务 / 138 产物，13 模型 0.00–0.48）未经同行评议 [3]。

缺陷

快速饱和；Verified 子集小；运营方与参评方重合；成绩多为自报，见 LAB-Bench 的同类问题。

来源

1. https://arxiv.org/pdf/2503.00096 (2026-10-15)
2. https://phylo.bio/blog/evaluating-ai-agents-in-biology (2026-10-15)
3. https://arxiv.org/pdf/2608.25286 (2026-10-15)