Apple Foundation Models

数据路线一句话

明说“授权出版商 + 公开/开源数据集 + Applebot + 合成”四源，隐私立场最强硬。

六层明细

• L1 语料 token：2025 版来源为出版商授权、公开或开源数据集、Applebot 抓取；过滤 PII、脏话与不安全内容；图文去重后 >100 亿图文对、1.75 亿交错图文文档含 >5.5 亿图像 [1]（官方博客）。2024 版 AFM-server 核心预训练 6.3T token（4,096 序列），其后持续预训练约 1T、长上下文扩展约 100B（2024 技术报告 arXiv 2407.21075，经检索摘录核对；摘要页未列 token）；多语言占比约 8% 仅见二手，原稿“8% 到 30%”无据 ⚠️。2025 版为新一代模型，数字不可与 2024 版混用。
• L2 授权交易：出版商授权不公布名单；2023 年传与 Condé Nast、NBC News、IAC 谈判、金额 $5,000 万+ ⚠️。
• L3 人工与供应商：有人工数据，规模与供应商未披露。
• L4 RL 环境：无。
• L5 合成蒸馏：用较小模型生成合成数据，用于代码、指令跟随、图像描述 [1]。
• L6 回流政策：官方称不使用用户私有个人数据与用户交互训练 [1]。

自建与供应商

自建加授权；供应商未披露。

反向供给与诉讼暴露

参与 DCLM 数据集工作 [2]（见 dclm）。2025-09-05 作家 Grady Hendrix 与 Jennifer Roberson 在 N.D. Cal. 提起集体诉讼，称 Apple 的 OpenELM（经 RedPajama，其含 Books3）及 Foundation Models 使用了 Books3 盗版书，并称 Applebot 可触达影子图书馆（原告指控；后续进展未核）。