TII Falcon

数据路线一句话

半开放企业派：公布 token 数与训练阶段，沿用自家 RefinedWeb 路线，不放全集。

六层明细

• L1 语料 token：Falcon 3（2024-12）为 14T，对比 Falcon 2 的 5.5T [3]。Falcon-H1（arXiv 2507.22448，2025-07-30）为 0.5B–34B 混合注意力-SSM，18 种语言；论文称语料超过 20T token、最多用 18T 训练（34B 约 18T、7B 约 12T、0.5B 约 2.5T）；来源含过滤后的 FineWeb（英文网页约 11T）、Common Crawl 多语网页、维基、arXiv、PubMed Central、书籍、代码（67 种语言）与数学数据；34B 终期混合中约 52% 为改写数据、约 4.5% 为纯合成，网页占比仅约 14.6% [1]。
• L2 授权交易：未披露。
• L3 人工与供应商：Falcon-H1R（arXiv 2601.02346）3 个 epoch、310 万样本 SFT，数学为主、代码和科学为辅的混合最优，最大 36K 上下文，基座为 Falcon-H1-7B，后接 GRPO 式 RLVR；教师模型论文未点名 [2]；供应商未披露。
• L4 RL 环境：未披露。
• L5 合成蒸馏：有合成：Falcon-H1 论文称 34B 终期混合约 52% 为改写数据、约 4.5% 为纯合成 [1]。
• L6 回流政策：无。

自建与供应商

自建；供应商未披露。

反向供给与诉讼暴露

RefinedWeb（Falcon 1 时代）已部分开放 ⚠️，见 refinedweb；未见相关诉讼。