谁在出题，谁在打分，题目本身能不能信

一个 benchmark，五个独立维度

在看数据之前先立一个分析框架——下文所有判断都沿着这五个维度展开，它们互相独立，同一个 benchmark 在五个维度上的取值组合，基本决定了它的商业逻辑、公信力上限、以及能不能被拿来做客观对比。

五个维度里，①决定动机、③决定方法论风险、⑤决定公信力天花板——这三个是本文反复回到的主线，②④更多是描述性的分类标签。

Benchmark 不是凭空出现的：一条任务怎么被生产、定价、卖出去

要理解"为什么会有这么多商业公司抢着做 benchmark"，得先看懂这门生意本身的经济结构——benchmark 只是这条供应链露出水面的那一角，水面下是训练数据+RL环境的整条产业链。

一个"可售卖环境"的四个组件

• 可交互世界：Docker容器或微VM，跑真实软件或复刻品
• 任务：初始状态+prompt，不是跑一次就完了，是被设计出来、可反复使用的题目
• 打分器(grader/verifier)：最贵、最核心的部分。三档由贵到便宜：程序化验证（单元测试/状态检查）> rubric评分 > LLM judge
• 可重置+可并行：供训练做几十次rollout采样，成千上万容器并发

制作费贵在造初始状态和打分器：专家要找到真实、有难度、前沿模型确实会失败的场景，构造干净复现环境，写模型作弊不了的验证测试——这也是为什么"需要harness"的benchmark（§05统计约47%）普遍比纯知识题贵得多、也难得多。

价格结构

四种生产模式

领域分布：coding是圣杯，science从"空白"变成"扎堆但没有标准"

Coding被称为"圣杯"——长程推理、工具调用、有状态、错误恢复、反馈密集（编译/测试即奖励），是当前投入最集中的领域，其次是computer-use/企业软件。医疗/法律/金融靠专家出题为主。

2026-09 更新：本节早先版本判断"science几乎空白"——这个结论已经过时，需要修正。2026年上半年密集涌现了至少 7-9 个新的科研agent benchmark（AutoResearchBench、ResearchClawBench、SciAgentArena/Microsoft、MLR-Bench、AIRS-Bench、HeurekaBench等，详见 §07），分布来自 Meta、Microsoft Research、EPFL、上海AI实验室(InternScience) 等不同背景机构，题目不再稀缺。但瓶颈从"没人出题"转移到了"没人形成共识"——这些benchmark彼此覆盖科研生命周期的不同片段（有的测想法/规划，有的测执行，彼此不衔接），且没有一个被多个实验室共同采用、写进system card的标准，根本原因不再是缺自动化验证器（rubric+LLM judge已经能绕开这个限制），而是科研任务本身开放度太高、专家rubric主观性太强，导致同一题目换个评测方，分数就可能大幅摆动——这正好呼应 §06 的harness敏感性问题，且在科研类benchmark上表现得更严重（见 §07 的 GAIA 案例）。补位这个空白的仍然不是标注公司本身，而是"实验室即奖励函数"（Periodic Labs）和"科研软件公司直连lab"（Anthropic×Benchling）——它们绕开benchmark这层，直接拿真实实验结果当训练信号。

两种出题人，两种动机

AI benchmark 现在有两类完全不同的生产者。一类是数据/环境服务商——它们既卖训练数据、RL 环境，也自己出题打分，评测本质是销售漏斗的第一环：诊断模型哪里弱，再反向把数据/环境卖给你补短板。另一类是学术/研究院机构——目的是给整个行业一把公共的比较尺子，不挂钩商业转化，被引用是它们唯一的"回报"。

这两类在中美两地各自演化出了一套体系，四象限如下：

把四象限叠在一起看，中美格局本质相同：真正跨厂商通用的始终是非商业化的学术标准，数据商榜单最多做"细分领域补位+销售背书"。差别在于成熟度——美国的数据商榜单已经打进了个别头部 lab 的正式 system card（哪怕只是自己客户在秀成绩），中国这批 2025 年才起步的新公司，信任目前还停留在"资本市场买单"，尚未看到被头部大模型公司技术报告正式采信。

数据商为什么要自建 benchmark：一本损益表

不是所有数据商都做了自己的 benchmark——老四家（Scale/Surge/Mercor/Handshake）+ 新三家里的 HUD 共 5 家做了且产品化对外冠名；Fleet、Mechanize 没做，恰好是团队规模最小、打法最"精品/垂直"的两家，把有限专家资源全押在核心产品上。

自建 benchmark 更像是"规模够大、专家资源够厚"之后的品牌溢价打法，不是数据/环境供应商的标配——Fleet 和 Mechanize 不做，反而印证了榜单是锦上添花，不是生存必需品。

64 个 benchmark 逐一拆解

每个 benchmark 统一记录六项：题库规模 / 开源状态 / 评估能力 / host 方 / 被模型公司引用情况 / 评测方式（纯 API 还是需要专属 harness）。按四象限分组，点开展开。

统计口径：需要专属harness/环境的 30 个(~47%)，部分需要 3 个，纯API 24 个，需人工评审 4 个，特殊平台型 1 个（Chatbot Arena），信息不足 2 个。HumanEval/MBPP/LiveCodeBench 虽然"需要执行环境"，但属于单轮代码生成+沙箱测试，不存在多步 agent scaffold，不适用于下一节讨论的"harness 敏感性"问题。

Harness 敏感性：同一个模型，换个脚手架，分数能差 48 分

Harness 和 Scaffold 不是一回事，但业界普遍混用

按 Hugging Face 的 agent glossary，Scaffold（脚手架）是"行为定义层"——system prompt、工具描述、响应怎么解析、跨步骤记住什么，发生在第一个 prompt 之前；Harness是"执行层"——调用模型、分发工具调用、决定何时停止，处理第一个 prompt 之后的一切。业界流行公式是 Agent = Model + Harness。但实际用法里两者经常被当同义词——Claude Code 官方文档就直接自称"the agentic harness around Claude"，把 scaffold 该管的事也算进了 harness 里。本文和大多数论文一样，把这两层统称为"harness"。

三层拆解：环境 / agent(scaffold) / 模型

一次 benchmark 测试其实叠了三层：环境 infrastructure（沙箱/Docker/可部署系统，谁维护）→ agent/scaffold（标准化默认还是允许自带，比如 Terminus-2 vs Claude Code）→ 模型（真正被评的 LLM）。目前查到的环境基础设施分成两大互不打通的生态圈：

实锤数据：分数摆动幅度远超模型能力差距

问题的本质："一个 leaderboard 条目写着'模型 M，SWE-Bench Verified 65%'，这句话本身没有信息量——你不知道换个 scaffold 会怎样。比较两个这样的数字，比的是两个系统，不是两个模型。"（论文 Stop Comparing LLM Agents Without Disclosing the Harness，arXiv 2605.23950）

厂商能不能自己指定 harness？能，而且是默认做法

• SWE-bench 官方明确允许提交自定义 scaffold（AutoCodeRover/Agentless/SWE-Agent/OpenHands均可上榜），榜单条目本质是"模型+harness组合系统"在参赛
• Anthropic 报分常直接用 Claude Code；OpenAI 在 Terminal-Bench 2.0 是唯一坚持用自家 Codex CLI 而非官方 Terminus-2 的参评方
• SWE-bench 2025-11 收紧政策：Verified/Multilingual 只对学术机构开放提交，独立/商业提交被限制在门槛更低的 Lite 榜——很可能是在回应"商业公司用定制harness刷分"的问题，但 Lite 依然允许自定义harness
• τ-bench 是唯一把"标准提交 vs 自定义提交"制度化的 benchmark：换掉官方默认scaffold（加规划器/额外agent/自定义工具/改控制流）就必须单独标注

常用开源 harness 清单

各家大模型公司自测常用 harness

一个反直觉的发现：Holistic Agent Leaderboard(HAL)做了21组模型-harness控制变量对比（Claude Code / Codex CLI / Pi，覆盖7个模型×SWE-bench Lite+Terminal-Bench 2.0），12组对比里有9组是"换一个非自家 harness 反而分数更高"——说明厂商自用的 harness 未必客观最强，更可能只是"自己最熟练调优过的那一个"。

科研类 benchmark：题目不缺了，缺的是一个大家都认的标准

咱们清单里九成打着"科学"标签的 benchmark（GPQA/HLE/Riemann-bench/xbench-ScienceQA/MMMU/MathVista）测的都是科学知识水位——懂不懂科学，不是会不会做科研。真正测"AI 做科研过程能力"的曾经极度稀缺，但这个判断在 2026 年上半年已经被打破——一批新 benchmark 密集涌现，下表先给全景，再深挖其中规格最重的 BiomniBench。

2026 上半年新涌现的科研 agent benchmark

额外发现同类项目：InquiTree(arXiv 2606.09550，评测paper-derived research tree式科学探究)、AstaBench(arXiv 2510.21652)、SoundnessBench(arXiv 2605.30329，测AI能否分辨"好/坏研究想法")。

中国侧的科学评测体系

中国的科学 benchmark 集中在上海 AI 实验室这条线，加上红杉 xbench 和 Humanlaya 参与的项目，特点是体系化平台多于单点过程级评测：

AI 在科学领域做得怎么样：四个判断

1. "懂科学"和"做科研"差距很大：选择题式的 GPQA 已接近饱和，但一旦要 agent 自己选方法、解读结果，分数掉到 20–70 分区间(ResearchClawBench 21.5、BiomniBench 62–73)。
2. 最大的问题是编造和浅尝辄止：MLR-Bench 发现 80% 的案例编造或无法验证结果；BiomniBench 常见漏掉关键分析步骤；SciAgentArena 发现 agent 做不出新颖洞见。看起来完整、科学上站不住，比答错一道题更危险。
3. AI 大致追上初级科学家，还没超过资深科学家：BiomniBench 早期人类基线——资深制药科学家 68.5、最好 AI 65.0、初级科学家 48.5。
4. 中美共同的瓶颈是没有共识标准：美国强在多家机构(Meta/Microsoft/Stanford/FutureHouse)的重投入过程级评测，中国强在体系化平台(司南/SFE/SciHorizon)。两边都还没有一个被几家头部实验室共同写进 system card 的科研标准。

一个比 BiomniBench 更极端的 harness 敏感性案例：GAIA

GAIA是通用agent benchmark(非科研专属，本文§05目录已收录)，但它在2026年5月给出了一个惊人的数据点：同样466道题，不同排行榜上的分数从44.8%跑到92.36%——差距不是测量误差，就是"被允许用什么工具/scaffold"的差异。这比 §06 讲的SWE-bench/BiomniBench的harness分差（10-48个百分点）还要极端，而且逻辑相通：科研/研究类任务本身开放度更高、rubric主观性更强，harness敏感性问题只会比coding类benchmark更严重，不会更轻。

BiomniBench 仍是规格最重的代表案例（不再是唯一）

上面这批新benchmark证明"科研agent评测"已经从空白变成拥挤赛道，但 BiomniBench 依然是其中投入规格最重的一个——100+名资深专家、超1,000小时开发投入，和斯坦福生产级科研agent Biomni直接配套，6维度rubric+双轨(固定harness+原生harness)对比实验设计也是这批新项目里最完整的。以下深挖它的细节：

评分维度与样题细节

典型失败模式：漏掉MYC基因特异性分析、漏掉表型相关性分析、漏掉关键通路解释——说明任务不是"跑脚本出数字"，而是要求 agent 知道该往哪个方向深挖。

测试用什么 harness

底层用 Harbor 执行框架统一环境（task.toml配置验证器/环境预算），保证不同 agent 跑起来时数据、工具、沙箱资源一致。打分不是自动验证器，是 LLM judge——论文比较了5个候选裁判模型(Claude Opus 4.6/DeepSeek V3.2/Gemini 3.1 Pro/GPT-5.4/Qwen 3.6)跟内部专家A/B/C评级的一致性，最终选 Gemini 3.1 Pro 全程当裁判（跟人类专家意见最一致）。

各家模型测下来的效果

官方"固定harness"对比：所有模型统一套 Terminus-2 → 顶尖模型互相只差1.6分，聚在62-64区间。官方"原生harness"对比（各家用自己精调过的agent）：

早期版本人类基线对比（v0，15题子集，Phylo博客公开）：

当时最好的AI系统(65分)已接近甚至超过初级科学家(48.5分)，但仍明显不如资深科学家(68.5分)——极少见的"AI vs真人专家"直接对比数据。

第三方独立复现（omicverse团队用自己的agent"omicos"换不同底层模型跑50个公开任务）：GPT-5.5 78.8%、DeepSeek4-pro 73.0%、GPT-5.4 67.7%、DeepSeek4-flash 66.0%、MiMo-v2.5-pro 65.8%、MiMo-v2.5 62.3%、GPT-5.4-mini 44.2%。反直觉发现：GPT-5.5总分最高但"生物学解释"维度只有60%，几个便宜模型(DeepSeek4-flash 76%、MiMo-v2.5-pro 73%)在这一维度反而超过它——模型普遍能老实引用文献来源，但在"方法选择"和"生物学解释"这两个真正需要科研判断力的维度上持续拉胯。

Rubric 化：把"不可验证"变成"可验证"，代价是把"对不对"换成了"全不全"

上一节的结论是科研 benchmark 已经扎堆但没有共识。但如果只看方法，中美两边其实已经收敛到同一个解法：把一个开放式任务拆成 N 条小的、可独立判定的 rubric 条目，再聚合成分数或奖励。这一节说清三件事：这套机制具体怎么做、它离"真实标准"有多远、以及哪些方法被证明能缩小差距。

rubric 让开放式任务变得可打分，但它奖励"说到了"，不奖励"说对了"，也不惩罚"说多了"。这个替换在医疗问答里损失有限，在科研里可能是致命的——一篇什么都提到了但结论错了的研究报告，rubric 会给高分。

这不是新东西：范式时间线

标准名称是 rubric-based reward / rubrics as rewards，动机是 RLVR（可验证奖励强化学习）在数学和代码上极成功、但在医学科学写作这类没有唯一答案的任务上用不上。底层假设"验证在认知上远比从零创造便宜"来自 scalable oversight 这条老线索（CriticGPT、辩论式对齐），不是任何新公司的原创。

对本页 §09 的一个直接含义：UniPat 博客称"现有两种范式（纯人工／纯合成）都没利用这个不对称性"，在文献上不准确——Scale 的 RaR 早半年以上，小红书的 Rubric Anchors 早七个月且明确写了人机混合。它的真实差异化在领域覆盖（50+学科）和专家工时成本（1–2小时/样本），不在方法。

rubric 条目具体长什么样（RaR 论文附录原文示例）

每题生成 7–20 条 rubric，每条含 title（2–4词）、description（一句话，须以类别开头）、weight。必须写到"非专家只靠这条即可判定、无需推断或查外部资料"的自足程度——这是 LLM judge 能当判分器的前提。

RaR 在 Qwen2.5-7B 上的实测有两个反直觉结果：implicit 聚合（整份rubric交给judge出一个总分）优于 explicit（逐条判定加权求和），与"原子化可验证"的直觉相反；而且科学域（GPQA-Diamond）上 RaR-Explicit 还不如 Reference-Likert 基线（0.3030 vs 0.3775）——rubric 的收益取决于任务是否真的开放式，选择题式任务拆解价值有限。

科研 benchmark 采用 rubric 的五种机制

看任何 rubric 榜单，第一个该问的问题不是"谁在榜首"，而是"你的判分器与人类专家的一致性是多少"。上表十家里只有四家给了数字。

离"真实标准"有多远：两层差距，后一层是结构性的

拆法出自 Reward Hacking in Rubric-Based RL（arXiv 2605.12474）：策略对训练判分器优化，但用三个跨家族前沿模型组成的裁判面板评估。

差距一：判分器失效（可控）。训练判分器认为满足、参考判分器认为没满足。弱判分器产生大量迁移不过去的虚假收益，利用程度随训练推进而增长，集中在三种复发失败：复合条件部分满足即算过、把隐含内容当显式表述、主题匹配不精确。换强判分器能大幅减少但无法消除。

差距二：rubric 设计本身的局限（结构性）。即便用很强的 rubric 判分器，它偏好的回答在"不看 rubric 只看整体质量"的裁判眼里反而更差：

已被证明有效的缩小差距的方法（按证据强度）

1. 跨家族判分器面板——训练判分器与评测判分器严格分离；硬规则是永远不要让生成模型与判分模型来自同一家族。Autorubric/PoLL式集成证明：当方差和阈值可靠性重要时，多个各异裁判的陪审团胜过单个强模型。
2. 人工标注校准 + 定期重校准（工程上最成熟）——手标100–300条代表性输出，用判分器将要用的同一套 rubric，算 Cohen's kappa / Pearson / MAE，目标 kappa > 0.6；每季度重校准捕捉 drift，判分模型升级后必须重校准。
3. 成对比较替代逐点打分——Open Rubric System（arXiv 2602.14069）用成对自适应 rubric + 锦标赛排序治"判别性坍塌"（逐点打分把所有回答挤在同一分段），并要求两种顺序都跑以消除位置偏差。
4. 专攻高分尾部——Chasing the Tail（arXiv 2509.21500）：过优化的根源是分不清"优秀"与"仅仅很好"。rubric 的价值在于能利用离策略样本同时对其表面伪影不敏感，关键是让 rubric 具备在多个都很好的回答之间做区分的能力。
5. 从失败轨迹反向归纳 rubric——DeepVerifier 路线，让 rubric 贴近真实失败分布而非专家想象的失败分布。
6. self-internalization gap——基于策略模型自身 log-probability 的无判分器诊断，能检测"用弱判分器训练的策略何时停止真正进步"。低成本早期预警。
7. 显式负向条目 / 抑制存在性偏好——加 Pitfall 条目、对"提到了"类降权、对"说对了"类升权、加简洁性约束。逻辑对症，但未见论文系统验证，属推论。

判分器这一层正在被专用模型接管：TypeSafe Jev

rubric 判分的本质就是"给一份产出回答 N 个互相独立的封闭问题"，这正好是 TypeSafe Jev（2026-09-15 早期访问，当前 jev-1.13.0）的原生形态：输入非结构化 state，一次并行 pass 输出带标定概率的类型化决策，完全不生成文本。原语 bool / score / choice 分别对应 rubric 的 met-not-met、分级条目、失败模式分类，criteria 直接用自然语言写、不需要标注数据。定价 $0.042/MTok 输入、输出免费，延迟 70–500ms。Good Start Labs 跑 6,003 条检查的实测：Jev 每百万条判定约 $160，Claude Fable 同等水平约 $33,000（GPT-5.6 Luna 约$400、Gemini 3.8 Flash 约$1,600）。这带来一个真实的架构变化：以前太贵只能抽样评测，现在可以全量评每一条轨迹。

所以它的正确位置是：叶节点级判定的执行层（PaperBench 的"15分钟可判定"规则正好定义出这种短、自足、原子的问题）、大规模全量扫描、置信度路由到人工、以及跨家族判分面板里架构完全不同的那一员。不适合当唯一裁判、评轨迹、或做诊断。一个必须说清的判断：Jev 把判分成本降低两个数量级，但便宜地做错的事仍然是错的——它的概率系统性偏 yes，而 rubric 的已知病灶正是存在性条目虚高，未校准地把它接进 RL 奖励回路，是在给 reward hacking 加油。

真值层：湿实验怎么接进来

rubric 只能判断"这份研究做得像不像一个好研究"，不能判断"结论是不是对的"。而科研只有后者算数。所以真正的问题是：唯一不可被 Goodhart 的真值——物理实验——能不能进训练回路。答案是：三大 lab 都在用湿实验，但没有一家公开把它当 RL 奖励信号。

为什么大 lab 不这么做——四个结构性原因：①时间尺度差3–5个数量级（训练步分钟级 vs 实验天到周级，而一次 RL run 需要几十万次 rollout）；②样本效率与成本不匹配（用最贵的信号喂最饿的算法）；③信号稀疏带噪声，credit assignment 几乎无解（失败可能源于假设错误，也可能是移液操作或试剂批次）；④通用模型 vs 垂直模型的取舍——湿实验信号只在极窄领域有效，Periodic/Lila 敢做正因为它们放弃了通用性。

所以前沿模型实际用的是四种"湿实验替代品"：形式化验证器（Lean，秒级，但只有数学有）、计算仿真代理（DFT/分子动力学/对接，分钟到小时，与现实有系统性偏差）、回溯真值（已完成但模型未见的实验，零成本但有污染风险）、rubric（秒级，但有本节的结构性偏差）。湿实验本身的角色是最终背书与校准，不是梯度来源。

跟踪点：Periodic Labs 何时报出第一个由 RL 闭环（而非人类直觉+AI辅助）得到的新材料或超导结果——这是 Tier 3 路线成立与否的唯一硬检验，其2026-09那篇技术文只讲训练与服务基建，明确没有报告新验证的材料或超导结果。

UniPat / Humanlaya / 智衍慧生：红杉密集布局的评测赛道

国内"AI评测+高质量训练数据"公司大致分三层，2025年下半年才真正起步，头部公司普遍成立不到一年。真正对标美国 Mercor/AfterQuery/Turing 的是第一梯队。

三层格局

UniPat 不只是评测公司：它自己训模型（2026-09-20 补充）

这一点在早前版本里漏了，但它改变了对这家公司的定性。UniPat 的 GitHub 组织（UniPat-AI，9个公开仓库）里除了 §05 收录的那批 benchmark，还有三个非 benchmark 产品：

团队背景核实结果

UniPat 创始人身份公开（李宽，前阿里通义AI实验室），是三家里唯一主动披露创始人身份并拿"大厂技术背景"做背书的。Humanlaya/原壤智能创始人姓名未在任何公开报道中披露，官网无团队页，GitHub组织成员列表不公开，只能确认投资方阵容。智衍慧生公开工商信息仅查到法定代表人，团队背景、产品细节完全没有公开报道，是三家里最低调的一家。

被引用情况：还没跑通"外部采信"这一步

UniPat/xbench/Humanlaya 系的 benchmark 没有查到被 DeepSeek、Qwen、智谱GLM、Kimi、MiniMax 等头部模型官方技术报告正式引用的证据。目前的"被引用"主要发生在自己人之间（UniPat×xbench联合发BabyVision，本质是同一个生态圈互相背书）。对比之下，C-Eval/CLUEWSC/CMMLU/OpenCompass 已被 DeepSeek-V3、Qwen 系列技术报告正式引用——这批新公司的公信力目前更多体现在融资市场（阿里/腾讯领投、25亿美元估值），而不是技术报告引用，这是两种完全不同的信任状态。

2026-09-20 复核后这个结论仍然成立，并且可以给出更细的分级。查到的"被引用"只有四种，前三种都不算外部采信：①UniPat 在评别人——SaaS-Bench / RoadmapBench 榜上有 Claude Opus 4.7、GPT-5.4、Gemini 3.1 Pro、DeepSeek V4 Pro、GLM 5.1、Kimi K2.6、Qwen 3.6 Plus、MiniMax M2.7，BabyVision 榜上有 Gemini3-Pro-Preview、GPT-5.2、Doubao-Seed-1.8、Qwen3VL-235B——方向是反的；②第三方聚合站转载（BenchmarkList 上有 RoadmapBench 和 BabyVision 的榜单页）——算半步；③生态圈内互相背书（BabyVision = xbench × UniPat，红杉同时投了两边）；④真正的反证：Qwen3-Coder-Next 技术报告（2026-03）用的是 SWE-Bench Verified / Multilingual / Pro + TerminalBench 2.0，没有 UniPat 的任何 benchmark。

被引用 ≠ 被信任：中美三层公信力结构对比

Benchmark 的公信力不是单一维度，可以拆成三层，中美两地在每一层的成熟度都不一样：

两地格局本质相同：真正跨厂商通用的始终是非商业化的学术标准，数据商榜单最多做"细分领域补位+销售背书"。差别在于成熟度——美国数据商榜单已经小范围打入头部lab的正式system card，中国这批2025年才起步的新公司，信任目前还停留在"资本市场买单"。

一个判断行业进入新阶段的信号

什么时候能看到非自己客户的第三方大模型公司在技术报告里引用 UniPat/Humanlaya/xbench 的榜单，会是中国数据商评测赛道从"融资叙事"跃迁到"行业采信"的实质性信号——目前还没有观察到。

Benchmark 聚合站导航

Agent 专用、方法论最严谨

综合性实时打分聚合站

GitHub 静态 curated 列表

九个可以带走的判断

1. Benchmark 是训练数据/RL环境这门 85 亿美元生意的销售触角，不是独立产物——打分器（grader/verifier）才是整条链路里最贵、最核心的部分，这决定了谁有动机做 benchmark、谁没有。
2. 数据商榜单是销售漏斗，学术榜单是公共基础设施——前者的成功标准是"转化了多少客户"，后者是"被多少论文/system card引用"，中美格局本质相同，中国的差距在成熟度不在结构。
3. 接近一半的benchmark需要专属harness，且大多是各家专属自建、不共享——只有 Harbor 生态是罕见的例外，正在被多个不同背景的数据商共同采用。
4. Harness/scaffold选择对分数的影响，经常超过模型本身的能力差距（可达48个百分点）——已经是独立的学术研究方向（Harness-Bench等），而不是巧合发现。
5. 科研类benchmark已经从"稀缺"变成"扎堆但碎片化"——2026上半年至少7-9个新的科研agent benchmark密集涌现（Meta、Microsoft、EPFL、上海AI实验室等背景各异），但没有一个成为跨实验室共同采用、写进system card的标准，瓶颈从"没人出题"变成了"没人形成共识"，而且科研任务开放度高、rubric主观性强，让 §06 的harness敏感性问题在这个方向上表现得比coding类更极端（GAIA同题466道，跨榜单分数摆动44.8%到92.36%）。
6. 被引用≠被信任，公信力要拆成三层看——通用标准层、数据商榜单层、大众人气层，中美两地在每一层的成熟度都不一样，笼统说"某某榜单权威"是不准确的。
7. 中国新一批"评测优先"公司还没跑通"被第三方model card采信"这一步——目前的公信力来自融资市场（阿里/腾讯/红杉），不是技术报告引用，这是判断它们能不能真正站稳的关键观察点。而 UniPat 已经不是纯评测公司（它自己训 UniScientist / UniMath），"出题者同时参赛、且裁判的技术口味有来处"是 §09 新增的一类利益冲突，比美国那种"客户引用自己供应商"更难察觉。
8. 中美两边在方法上已经收敛到同一个解法：rubric 化——把开放式任务拆成 N 条可独立判定的条目。但它的代价是把评测目标从"对不对"悄悄换成了"全不全"：rubric RL 之后存在性条目上升，而事实正确性、简洁性、相关性、整体质量全部下降，无 rubric 的裁判甚至偏好训练前的基座模型。差距不在判分精度（单条判定已达人类专家一致性水平），而在"N条加总=质量"这个聚合假设。所以看任何 rubric 榜单，第一个该问的是判分器与人类专家的一致性数字——目前十家里只有四家公开。
9. 只有外部真值能纠回这个替换，而湿实验目前不在任何前沿模型的 RL 回路里——三大 lab 把湿实验用在事后验证和数据回流两个位置（Anthropic 走得最远：自建湿实验室 + 资助外部验证），把物理实验当 RL 环境的只有 Periodic Labs、Lila 这类放弃了通用性的新公司，原因是时间尺度差3–5个数量级。因此带真值的科研 benchmark 必然小样本、慢、贵，它的定位应该是校准器而不是排行榜——一层大而廉价的 rubric 评测跑日常迭代，一层小而昂贵的真值评测定期校准前者，而中间那个校准层（用真值回归 rubric 权重）目前无人实现。