中文评测(C-Eval / CMMLU / SuperCLUE / OpenCompass / xbench)

论文与基准中国数据集工具

中文模型评测体系:学术题集、公共评测平台与资本方榜单

成立
2023-05
数据类型
中文知识题;评测平台;agent 评测
规模口径
C-Eval 13,948 题;CMMLU 11,528 题;OpenCompass 70+ 数据集 / 40 万+ 题

构成

  • 学术题集:C-Eval 13,948 题、CMMLU 11,528 题;被 DeepSeek-V3 与 Qwen2.5 技术报告引用。C-Eval 为 52 个学科的选择题(arXiv 2305.08322,2023-05-15);CMMLU 覆盖 67 个主题(arXiv 2306.09212,2023-06-15);题数与学科数与论文一致。
  • 公共评测平台:司南 OpenCompass(上海 AI Lab,“70+ 数据集 / 约 40 万题”为常见转述,官方页面未能直接核对且随版本变化 ⚠️)、智源 FlagEval(“90+ 数据集 / 200 万+ 题 / 800+ 模型”为智源 2024-12 “百模”评测发布时的统计,之后规模可能已变)、SuperCLUE、CLUE(均为非商业公共基础设施,整理口径)。
  • 资本方与数据商榜单:xbench(2025-05 由红杉中国(现 HSG)发起;ScienceQA / DeepSearch / AgentIF / BabyVision,其中 BabyVision 与 UniPat AI 合作,含 388 道视觉题);UniPat AI(Monthly-SWEBench、SaaS-Bench 106 任务等)、Humanlaya(壤智能)(One-Million Bench 400 题,arXiv 2603.07980;BiomniBench 为 xbench、Phylo 与 Humanlaya 联合的生物医药过程级评测,“100”指参与专家 100 位而非任务数)。

采信度

数据商榜单几乎查不到被第三方模型公司技术报告采信(如 Qwen3-Coder-Next 技术报告 2026-03 未引用任何 UniPat benchmark,该断言未复核 ⚠️);学术题集与公共平台才是技术报告的常客。

来源

  1. https://arxiv.org/abs/2305.08322 (2026-10-15)
  2. https://arxiv.org/abs/2306.09212 (2026-10-15)
  3. https://opencompass.org.cn (未复核,2026-10-15)

卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。