Company
TII Falcon
TII (Abu Dhabi)'s Falcon series, a semi-open enterprise approach: gives token counts and recipes but not the full dataset
Overview
- Founded: 2020
- HQ: Abu Dhabi
- Links: https://arxiv.org/abs/2507.22448
This profile was compiled from the AI training-data column cards (LLM); each column's data view is shown below under "Data profile" (in Chinese).
Data profile · 大模型
TII Falcon（Falcon-H1 / H1R）
阿布扎比 TII 的 Falcon 系列，半开放企业派：给 token 数与配方不给全集
- 数据类型
- 过滤网页；推理 SFT；合成
- 规模口径
- Falcon 3 为 14T token；Falcon-H1R 的 SFT 为 310 万样本
数据路线一句话
半开放企业派：公布 token 数与训练阶段，沿用自家 RefinedWeb 路线，不放全集。
六层明细
- L1 语料 token：Falcon 3（2024-12）为 14T，对比 Falcon 2 的 5.5T [3]。Falcon-H1（arXiv 2507.22448，2025-07-30）为 0.5B–34B 混合注意力-SSM，18 种语言；论文称语料超过 20T token、最多用 18T 训练（34B 约 18T、7B 约 12T、0.5B 约 2.5T）；来源含过滤后的 FineWeb（英文网页约 11T）、Common Crawl 多语网页、维基、arXiv、PubMed Central、书籍、代码（67 种语言）与数学数据；34B 终期混合中约 52% 为改写数据、约 4.5% 为纯合成，网页占比仅约 14.6% [1]。
- L2 授权交易：未披露。
- L3 人工与供应商：Falcon-H1R（arXiv 2601.02346）3 个 epoch、310 万样本 SFT，数学为主、代码和科学为辅的混合最优，最大 36K 上下文，基座为 Falcon-H1-7B，后接 GRPO 式 RLVR；教师模型论文未点名 [2]；供应商未披露。
- L4 RL 环境：未披露。
- L5 合成蒸馏：有合成：Falcon-H1 论文称 34B 终期混合约 52% 为改写数据、约 4.5% 为纯合成 [1]。
- L6 回流政策：无。
自建与供应商
自建；供应商未披露。
反向供给与诉讼暴露
RefinedWeb（Falcon 1 时代）已部分开放 ⚠️，见 refinedweb；未见相关诉讼。
Last compiled: 2026-10-15