Japanese, Korean and Small Open-Source Model Makers

数据路线一句话

五家路线各异：韩国三家给 token 数不给授权与供应商；Sakana 做区域后训练；Liquid 靠知识蒸馏。

六层明细

• L1 语料 token：
  • LG EXAONE 4.0（arXiv 2507.11407，2025-07-15；32B 与 1.2B 两个规模）：32B 预训练约 14T token（1.2B 为 12T），约为 EXAONE 3.5 32B（6.5T）的 2.15 倍（技术报告表格口径，经检索摘录核对；摘要页本身未给 token 数）[1]。
  • Naver HyperCLOVA X THINK 约 6T 韩英文本，补充定向合成韩语数据 [2]；2026 年另有 32B Think 报告（arXiv 2601.03286）未读取。
  • Upstage Solar Open 2（arXiv 2607.20062，2026-07-22，250B MoE / 15B 激活）：20T 候选池精炼为 10T 混合，Stage 2 通用预训练 10T + Stage 3 约 1T + Stage 4 长度扩展约 0.9T（图 8 写 865B，报告内部略有出入），合计约 12T [3]；Solar Pro 2 发布稿无训练数据细节。
  • Liquid LFM2（arXiv 2511.23404）稠密模型预训练约 10T、中训另加 1T，LFM2-8B-A1B 为 12T + 1T；LFM2.5 扩到 28T（公司官方发布口径）；后续 MoE 传 38T（二手，未核）[5]。
  • Sakana Namazu（2026-08-03 发布）以 Moonshot 的 Kimi K2.6 开源权重为基座，不自训基座 [4]。
• L2 授权交易：五家均未披露。
• L3 人工与供应商：均未披露；Sakana 称用内部数据做日语与日本商务语境后训练 [4]。
• L4 RL 环境：EXAONE、HyperCLOVA X 称有 RL，细节未披露。
• L5 合成蒸馏：Liquid 使用 tempered、decoupled Top-K 知识蒸馏 + 难度排序课程 + 三阶段后训练（技术报告）[5]；Naver 用合成韩语；其余未披露。
• L6 回流政策：无。

自建与供应商

韩国三家与 Liquid 自建；Sakana 为“非自训基座 + 自有后训练数据”，基座来自 kimi 的 Moonshot。早期 EvoLLM-JP 靠模型合并，非数据路线。

反向供给与诉讼暴露

Liquid 仅给蓝图，数据集未公开 [5]；其余无训练数据集发布；未见诉讼。