LMArena / Arena Intelligence

原理与商业

用户对同一提示下的两个匿名模型回答投票，按 Elo / Bradley-Terry 汇总成排行榜。公司在 2026-01 完成 $1.5 亿 A 轮、估值 $17 亿；年化 consumption rate 3000 万美元（2025-12，公司口径，未用 ARR）；A 轮由 Felicis 与 UC Investments 领投，估值为投后 $17 亿，收入来自付费评测而非卖投票数据 [1]。

数据产物

公开投票集 arena-human-preference-140k 以 CC-BY-4.0 发布，数据集页显示 135,634 行、53 个模型、126 种语言，投票时间戳为 2025-04 至 2025-07 [3]。既是评测，也是偏好训练数据。

争议

《The Leaderboard Illusion》（arXiv 2504.20879，约 200 万场对战、42 家厂商、243 个模型）称头部厂商拿到不成比例的数据份额：Google 与 OpenAI 各约 19.2% 与 20.4%，83 个开源模型合计约 29.7%；Meta 在 Llama 4 发布前测试 27 个私有变体；在 7B 模型微调实验中，训练混合含 70% Arena 数据可使 ArenaHard 对 Llama-3.1-8B-Instruct 的胜率由 23.5% 升至 49.9%（相对提升约 112%；同一实验 MMLU 未提升）[2]。LMArena 对该分析有异议，具体回应未查到。Llama 4 提交版与发布版不一致的争议见 Meta。

来源

1. https://techcrunch.com/2026/01/06/lmarena-lands-1-7b-valuation-four-months-after-launching-its-product/ (2026-10-15)
2. https://arxiv.org/abs/2504.20879 (2026-10-15)
3. https://huggingface.co/datasets/lmarena-ai/arena-human-preference-140k (2026-10-15)