Tencent Hunyuan

数据路线一句话

把合成数据作为预训练的正式组成部分：Hunyuan-Large 用四步管线造出近 1.5T token，后训练依赖百万级人工审过的 SFT。

六层明细

• L1 语料：Hunyuan-Large 7T token（公司口径）；Hunyuan-A13B 20T（媒体口径摘要）；Hy3（295B/21B 激活，2026-07 开源）预训练 token 未披露，两代数字不可串用 [1][2][3]。
• L2 授权：未披露。
• L3 人工：Hunyuan-Large SFT >1M 条，经规则与模型过滤后"进一步经人工标注"；DPO（离线 + 在线）偏好数据规模未披露 [1]。
• L4 RL 环境：Hy3 称放大 RL 算力，环境未披露；HF 页给出 verl + GRPO 微调指南 [3]。
• L5 合成蒸馏：Hunyuan-Large 预训练含近 1.5T 合成（1.5/7 换算约 21%）。四步为：以网页、网页问答、代码库、书籍为 seed 生成指令，进化指令，多模型生成回答，critique 模型加自洽过滤；中英为主，比例未披露 [1]。
• L6 回流政策：Hy3 已接入元宝、ima、WorkBuddy/CodeBuddy 等（媒体口径），对话回流用于训练的比例未披露 [4]。

自建与供应商

大模型期的外采合同未查到。历史上数据堂年报点名腾讯科技(成都)为客户（2021 年 738.31 万元居第 2，2022 年 582.50 万元居第 5），早于大模型时代，不代表 LLM 数据 [5]，见 datatang、haitian-ruisheng。腾讯 Qlabel 标注平台为自建与外包混合（媒体口径 ⚠️）。

反向供给与争议

未开源训练语料；配比仅合成总量公开。未查到针对混元的蒸馏指控。