中文评测(C-Eval / CMMLU / SuperCLUE / OpenCompass / xbench)
中文模型评测体系:学术题集、公共评测平台与资本方榜单
- 成立
- 2023-05
- 数据类型
- 中文知识题;评测平台;agent 评测
- 规模口径
- C-Eval 13,948 题;CMMLU 11,528 题;OpenCompass 70+ 数据集 / 40 万+ 题
构成
- 学术题集:C-Eval 13,948 题、CMMLU 11,528 题;被 DeepSeek-V3 与 Qwen2.5 技术报告引用。C-Eval 为 52 个学科的选择题(arXiv 2305.08322,2023-05-15);CMMLU 覆盖 67 个主题(arXiv 2306.09212,2023-06-15);题数与学科数与论文一致。
- 公共评测平台:司南 OpenCompass(上海 AI Lab,“70+ 数据集 / 约 40 万题”为常见转述,官方页面未能直接核对且随版本变化 ⚠️)、智源 FlagEval(“90+ 数据集 / 200 万+ 题 / 800+ 模型”为智源 2024-12 “百模”评测发布时的统计,之后规模可能已变)、SuperCLUE、CLUE(均为非商业公共基础设施,整理口径)。
- 资本方与数据商榜单:xbench(2025-05 由红杉中国(现 HSG)发起;ScienceQA / DeepSearch / AgentIF / BabyVision,其中 BabyVision 与 UniPat AI 合作,含 388 道视觉题);UniPat AI(Monthly-SWEBench、SaaS-Bench 106 任务等)、Humanlaya(壤智能)(One-Million Bench 400 题,arXiv 2603.07980;BiomniBench 为 xbench、Phylo 与 Humanlaya 联合的生物医药过程级评测,“100”指参与专家 100 位而非任务数)。
采信度
数据商榜单几乎查不到被第三方模型公司技术报告采信(如 Qwen3-Coder-Next 技术报告 2026-03 未引用任何 UniPat benchmark,该断言未复核 ⚠️);学术题集与公共平台才是技术报告的常客。
来源
相关卡片
DeepSeek(深度求索)公司与机构 · 中国
全自建 + 规则奖励 RLVR 路线,合成 agent 环境是 V3.2 的数据亮点
Humanlaya(壤智能)公司与机构 · 中国
评测优先的北京专家标注公司,路线最接近 UniPat
Qwen / 阿里通义公司与机构 · 中国
36T token 三阶段预训练 + 实例级打标配比,强到弱蒸馏
UniPat AI公司与机构 · 中国
评测优先的国内专家数据公司,同时自训科研与数学模型
上海 AI Lab(书生 InternLM)公司与机构 · 中国
配比公开最完整的中国团队之一,并以万卷语料与 InternBootCamp 反向供给
数据商自建榜单(SEAL / APEX / Hemingway / Handshake 三件套 / GBA)论文与基准 · 美国
数据商自建榜单既是销售工具也是专家网络的质量展示
通用 benchmark(MMLU / GPQA / GSM8K / MATH / AIME / HumanEval / LiveCodeBench)论文与基准 · 全球
技术报告里最常引用的通用评测集,也是训练数据去污染的主要对象
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。