Harness 敏感性

原理

agent 基准分数 = 模型 + harness（重试逻辑、工具调用格式、上下文管理）。Holistic Agent Leaderboard（HAL）在 SWE-bench Verified Mini 上统计到同一模型换不同 scaffold，分数摆动显著（具体幅度未核实 ⚠️）；《Stop Comparing LLM Agents Without Disclosing the Harness》指出，榜单上的"模型 M 得 65%"不含信息，比较的是两个系统而非两个模型 [1][2]。

实例

Claude Opus 4.5 在 SWE-bench Pro 上用标准化 SEAL scaffold 为 45.9%，用 Claude Code 为 55.4%（均来自第三方博客，Claude Code 数字各家不一，约 49.5–55.4%）；在 Verified 上，OpenHands 可到 77.6%，换成 mini-SWE-agent 掉几个点（二手转述）。HarnessTax 固定模型只换 harness（Claude Code、Codex CLI、Pi），12 组对比中 9 组换成非自家 harness 反而更高 [3]。

局限与影响

SWE-bench（Verified / Pro） 允许提交自定义 scaffold，2025-11 起 Verified 与 Multilingual 只对学术机构开放提交，但 Lite 榜仍允许自定义；要求提交完整 rollout 轨迹只防作弊，不解决可比性。数据商同时提供 benchmark 与建议 harness，形成比"既卖数据又打分"更隐蔽的第二层利益绑定；共享 harness 的例外是 Harbor（Laude Institute）。

来源

1. https://arxiv.org/abs/2510.11977 (2026-10-15)
2. https://arxiv.org/pdf/2605.23950 (2026-10-15)
3. https://harnesstax.github.io/ (2026-10-15)