SWE-bench（Verified / Pro）

内容与规模

从 12 个 Python 仓库取 2,294 个真实 GitHub issue，要求模型生成补丁并通过测试；初代最佳 Claude 2 仅 1.96% [1]。Verified 为 500 题人工验证子集，是事实标准；SWE-bench Pro 为 1,865 题（公开 731 + held-out 858 + 商业/私有 276，共 41 个仓库；已与 Pro 论文 arXiv 2509.16941 及 Scale 榜单页核对）。

既是评测也是环境

执行式评分使其同时可作 RL 环境（SWE-Gym 即其训练向变体，2,438 实例，见 其他 agent 基准（τ-bench / AppWorld / MLE-bench / Reasoning Gym / SWE-Gym））。

已知缺陷

OpenAI 于 2026-02-23 宣布不再评测 Verified：测试有缺陷且训练污染；其审计的 138 道 o3 多次（64 次）运行均失败的题目中，59.4% 的失败源于测试缺陷或描述不清而非模型能力（二手转述，OpenAI 原文页无法直接读取），并称模型能复现部分题目的标准补丁，即存在训练接触；当时推荐报告 Pro [2]。另有二手报道称 OpenAI 在 2026-07 因审计发现约 30% 的 Pro 任务有问题而撤回对 Pro 的推荐（仅见二手来源，未核）⚠️。一篇单人预印本抽样 49 题称 28.5% 存在错误补丁也能通过测试（小样本，需复核，与 OpenAI 口径不可比）[3]。Datacurve 称 Pro 的 grader 误判约三分之一试验（二手）。

来源

1. https://arxiv.org/abs/2310.06770 (2026-10-15)
2. https://openai.com/index/why-we-no-longer-evaluate-swe-bench-verified/ (2026-10-15)
3. https://arxiv.org/abs/2606.16062 (2026-10-15)
4. https://arxiv.org/abs/2509.16941 (2026-10-15)