Biomni
斯坦福生物医学通用智能体及配套 BiomniBench 评测
- 数据类型
- 科研智能体工具库;数据分析任务
- 规模口径
- 105 个软件包、59 个数据库、150 个工具;BiomniBench-DA 100 任务
内容
Biomni 是面向生物医学的通用科研智能体,整合大量软件包、数据库与工具;其配套评测 BiomniBench-DA 含 100 个数据分析任务(50 公开、50 私有),每题基于 Nature/Cell/Science 论文,由 100 多位专家投入 1,000 多小时构建。站内 AI 基准页给出的成绩:资深制药科学家 68.5、最好 AI 65.0、初级科学家 48.5 [1]。
评测地位
它属于"过程级"科研智能体评测,与 BixBench(约 300 题 / 53 场景)、LAB-Bench 互补。商业化后的 Biomni Lab 在第三方 Phylo 的 BixBench 全集评测中得 52.2%,高于 Edison Analysis 42.4% 与 Claude 编码 agent(Opus 4.6)39.5%,但该评测为第三方自评 [2]。
局限
- 评测方与被评产品关联时存在利益冲突:BixBench 由 FutureHouse / Edison Scientific/Edison 运营,同时被评产品含其自家智能体。
- 子集成绩(如 BixBench-Verified-50 被报 92%)为供应商自报,作者本人论"饱和"。
- 任务多为干实验数据分析,仅 BioLab Bench 接入真实湿实验,见 验证器强度。
来源
- 站内 aibenchmark 页 §07
- https://phylo.bio/blog/evaluating-ai-agents-in-biology (2026-10-15)
相关卡片
FutureHouse / Edison Scientific公司与机构 · 美国
科学 agent 基准 LAB-Bench、BixBench 的运营方
验证器强度概念与方法 · 全球
奖励信号能多便宜、多快、多可信地判对错,决定 AI 在哪个科学领域先突破
BixBench数据集 · 美国
计算生物 agent 基准:53 场景、近 300 开放题,已逼近饱和
LAB-Bench数据集 · 美国
FutureHouse 生物研究能力基准:2,457 题、8 类 30 子任务
The Virtual Lab of AI agents designs new SARS-CoV-2 nanobodies论文与基准 · 美国
Nature 2025,LLM 智能体团队设计纳米抗体并经湿实验验证
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。