Harbor(Laude Institute)

工具与格式美国数据集工具

Laude Institute 开源的 agent 评测与 RL 环境执行框架

成立
2025-11
总部
Laude Institute
数据类型
agent 环境;评测任务
License
Apache-2.0
链接
snorkel.ai

做什么

Harbor 是 Terminal-Bench 团队(斯坦福与 Laude Institute)开源的执行框架(Apache-2.0;仓库现位于 harbor-framework 组织,原在 laude-institute 下),随 Terminal-Bench 2.0(2025-11-07 发布,89 个人工验证的容器任务,斯坦福与 Laude 联合)配套推出,让同一批容器化任务既能做评测也能接入训练 [1]。Fleet AI 的训练层 harbor-train 即建立在它之上(Apache-2.0)[2]。

harness 工具族

开源 agent harness 还包括 SWE-agent、OpenHands、mini-SWE-agent、Agentless、Terminus-2(Terminal-Bench 2.0 默认 harness)、goose、HUD 的 hud-python 与 Mercor 的 Archipelago。各家模型方自测则倾向用自家产品:Anthropic 用 Claude Code,OpenAI 用 Codex CLI,Google 用 Gemini CLI。

意义与局限

约一半 benchmark 需要专属 harness,且多数各家自建不共享,Harbor 是少数例外;这使 harness 本身成为数据商护城河,也引出 Harness 敏感性 的可比性问题。

来源

  1. https://snorkel.ai/blog/terminal-bench-2-0-raising-the-bar-for-ai-agent-evaluation/ (2026-10-15)
  2. https://www.rl-list.com/vendors/fleet-ai (2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。