Terminal-Bench 2.0

内容与规模

Stanford 与 Laude Institute 于 2025-11-07 发布；89 个人工验证任务，每个任务独立 Docker 环境并带人写 oracle 解；由 229 个候选任务中选出，经 3 位人工审核；Snorkel 博客称目标是维持“50% 上下浮动、仍有明显提升空间”的难度（初版前沿模型已超 50%）；论文（arXiv 2601.11868，2026-01-17 提交，ICLR 2026）称前沿模型与 agent 解决不足 65% 的任务。配套执行框架为 Harbor（Laude Institute）。Snorkel AI 为贡献方并托管榜单 [1]。

用途

评测兼容训练：容器化加可执行验证，可直接当作 RL 环境。官方 agent harness 为 Terminus-2。

局限

后续 v2.1 为小幅更新、仍为 89 题（二手）；榜单数字未能核对官方；终端任务对 harness 实现敏感（见 Harness 敏感性）。

来源

1. https://arxiv.org/abs/2601.11868 (2026-10-15)
2. https://snorkel.ai/blog/terminal-bench-2-0-raising-the-bar-for-ai-agent-evaluation/ (2026-10-15)