OSWorld

内容与规模

369 个真实桌面与 Web 应用任务，每个任务附执行式评分脚本检查最终状态；论文称人类完成率 72.36%（超过 72.36% 的任务可被人完成），当时最佳模型仅 12.24% [1]。

后续维护

HUD 维护 OSWorld-Verified；Simular 的开源框架 Agent S3 于 2025-12-16 自报 72.6%，超过 72.36% 的人类基线；该分数使用 Behavior Best-of-N 多次 rollout 择优，单次运行约 62.6%（论文）至 66%（README），口径不一（公司自报）。此后榜单已被更高分刷新（二手报道称 2026 年中顶部约 85%）。

用途与局限

既可评测也可作 RL 环境；GUI 任务运行成本高，对分辨率与 harness 敏感，评分依赖脚本覆盖度。

来源

1. https://arxiv.org/abs/2404.07972 (2026-10-15)