Infinity-Instruct(智源,含 COIG)
智源开源的千万级中英指令数据,经演化与诊断过滤合成
- 成立
- 2024-06
- 总部
- 北京
- 数据类型
- SFT 指令;多轮对话;能力标签;奖励分数
- 规模口径
- 7M 基础集 7,449,106 条(Core 约 1.4M ⚠️ 未在数据卡核到);3M 为 3,463,473 条;Gen 1,456,927 条;COIG 约 20 万条人工校验中文指令
- License
- CC-BY-SA-4.0,gated(需同意不得用于伤害人类受试者的实验);第三方称 Apache-2.0 与官方数据卡冲突,以数据卡为准 ⚠️;COIG 数据卡标 Apache-2.0
- 链接
- huggingface.co;arxiv.org
内容与规模
流程:以开源种子(Alpaca GPT4、UltraChat、WildChat、MetaMathQA、Flan 等)为起点,LLM 打能力标签(25 个二级类),再用 Evol-Instruct 式演化,并为缺口合成数据 [1]。论文口径:阶段一从 1 亿+ 样本筛出 740 万基础指令,阶段二合成 150 万对话指令;InfInstruct-LLaMA3.1-70B 指令遵循比 GPT-4-0314 高 8.6%(作者口径)[2]。7M / Gen 附 Skywork-Reward-Llama-3.1-8B 的奖励分数;数据卡页面口径显示被 184 个模型使用 [1]。
COIG
COIG(2023-04,约 20 万条中文指令,人工校验)是智源更早的中文指令集 [3]。
局限
数据卡未点名生成所用模型,只写“AI assistants”;教师模型条款与 CC-BY-SA 再发布的兼容性公开材料未说明 ⚠️;CC-BY-SA 要求衍生数据同许可,下游合并需注意。
来源
相关卡片
改写式合成(WRAP / BeyondWeb / Nemotron-CC)概念与方法
用 LLM 重述真实网页,保留事实锚点以提升信息密度
CCI 系列(CCI3.0 / CCI3.0-HQ / CCI 4.0,智源)数据集 · 中国
智源中文互联网语料联盟,从 1TB 到 35TB 的三代中文语料
WildChat-1M 与 LMSYS-Chat-1M(含 Arena 人类偏好、UserLM)数据集 · 美国
公开的真实用户与聊天机器人对话集,部署回流数据的开放样本
偏好数据集(UltraFeedback / Anthropic HH-RLHF / OpenAssistant oasst1)数据集 · 全球
三套最常被引用的开放偏好与对话排序数据
卡片整理 2026-10-15。公司自报数据标“公司口径”;⚠️ 为未经独立核实。