其他 agent 基准（τ-bench / AppWorld / MLE-bench / Reasoning Gym / SWE-Gym）

内容速览

• τ-bench（Sierra，2024-06）：Airline / Retail 两个域，含模拟用户，终态数据库比对；pass^k 可靠性指标，GPT-4o 低于 50%，retail pass^8 低于 25% [1]。
• AppWorld（2024-07）：9 个日常 App、457 个 API、约 100 个虚拟用户、750 个任务；基于状态的单测并检查“附带破坏”；GPT-4o 约 49%（normal）/ 30%（challenge）[2]。
• MLE-bench（OpenAI，2024-10）：75 个 Kaggle 竞赛；o1-preview + AIDE 在 16.9% 的竞赛中至少拿铜牌 [3]。
• Reasoning Gym（2025-05）：100+ 数据生成器与验证器，可程序化无限生成并调难度，是“程序化生成 + 可验证”的典型 RLVR 环境库 [4]。
• SWE-Gym（2024-12）：2,438 个 Python 任务实例（代码库 + 可执行环境 + 单测 + 描述），训练 agent 在 SWE-bench Verified / Lite 上最高 +19% 绝对提升，是首个面向训练的真实 SWE 环境 [5]。

用法

前三者偏评测，后两者偏训练；均依赖可执行验证，故受 Grader 与 reward hacking 影响。

来源

1. https://arxiv.org/abs/2406.12045 (2026-10-15)
2. https://arxiv.org/abs/2407.18901 (2026-10-15)
3. https://arxiv.org/abs/2410.07095 (2026-10-15)
4. https://arxiv.org/abs/2505.24760 (2026-10-15)
5. https://arxiv.org/abs/2412.21139 (2026-10-15)