开源数据集与数据格式

一句话结论

• 开源真机动作数据的量级是千小时：Open X-Embodiment (OXE) 为 22 本体、60 个数据集、34 个实验室、100 万+ 条轨迹；AgiBot World 为 1,001,552 条、2,976.4 小时，是已核实的最大单一开源遥操语料 [1][2][3]。
• 体量更大的数据在"无动作标签"一侧：Egocentric-10K / 100K / 1M 为 100,405 小时人类第一视角视频（Apache 2.0）；小米机器人（Xiaomi-Robotics-1，10 万小时 UMI） 的 10 万+ 小时 UMI 语料只开源了模型（Apache 2.0），数据不开源 [4][5]。
• 格式层只统一"文件外壳"：RLDS 格式 是 OXE/DROID 时代的外壳，LeRobotDataset v3 格式 是 2025 年后的发布标准（LeRobot 社区 v3：791 个数据集、50,622 episodes、251.5 小时）；动作语义、坐标系、夹爪方向、频率仍需模型侧各自转换 [6][7]。
• license 是商用硬门槛：AgiBot World、Galaxea Open-World Dataset、RH20T-NC 为非商用；Egocentric-10K / 100K / 1M、LeRobot 社区 v3 为 Apache 2.0，Open-H-Embodiment、BridgeData V2 为 CC BY 4.0；OXE 是 60 个子集的集合，license 随子集 [8][9]。
• 多个流传数字已被一手页面推翻（DROID 35 万+ 条、HF "26,991" 个数据集、OXE "3,800 小时"、ActionCodec 27 维等），详见"口径冲突与未核实"。

数据集目录

字段："—"表示未查到；"未核"表示一手页面没有该数字。

真机动作数据

手持 UMI 与第一视角（人类侧）

动捕与仿真

⚠️ AgiBot Digital World 的规模与"基于光轮资产"之说未取到一手信息，不填数。

逐项核实要点

• OXE：论文页给出 22 本体、527 技能、160,266 任务；项目页给出 60 个数据集、34 个实验室、100 万+ 轨迹。"约 3,800 小时"在两处一手页面均未出现。下游：Octo 预训练约 80 万条 OXE 轨迹、OpenVLA 约 97 万条示范，两者子集不同 [1][2][35][36]。
• DROID：7.6 万条与 350 小时是论文口径的成功示范；LeRobot 版 95,658 episodes 含失败，且 info.json 帧数 27,630,375 与页面行数 39,995,463 不一致，引用需注明口径 [10][11]。
• AgiBot World：2,976.4 小时、100 台机器人为公司口径；论文摘要写 217 任务，页面写 200+ 任务类型；论文称比 OXE 预训练平均提升 30%，同为公司口径 [3][14]。
• LeRobot 社区 v3：时长以卡片 251.5 小时（约 10.5 天）为准；另有 v2 版（340 数据集、117 贡献者、6,325 episodes、46.6 小时）出自二手页 [7]。
• Egocentric-100K：工人数卡片未直接给出；二手来源称 14,228 人，由人均 7.06 小时反推约 1.42 万人，属推算 [4]。
• Open-H-Embodiment：卡片列 33 个贡献机构，论文称 49-50+ 机构，两套口径并存 [18]。

格式与工具链

RLDS

• 结构：dataset → episode（episode_metadata + steps）。每个 step 含 observation（多路 image、state、语言指令）、action、reward、discount、is_first/is_last/is_terminal；部分子集带 512 维 USE 语言嵌入。以 Bridge 为例：image uint8[256,256,3]、state float32[7]、action float32[7]，频率 5-10 Hz。⚠️ 字段细节沿用二手素材，未回查官方 spec。
• 读取：DROID 官网示例为 tfds.load("droid") [10]。
• 局限：只规定外壳。各子集 action 可能是末端增量、关节位置或绝对位姿；夹爪有 0/1 也有连续值，方向可能相反；频率 3-30 Hz 不等（二手口径）。依赖 TensorFlow，对 PyTorch 生态不友好。

LeRobotDataset v2.x / v3

• v3 目录：meta/info.json（特征 schema、fps、版本、路径模板）、meta/stats.json、meta/tasks.jsonl、meta/episodes/（分块 Parquet）、data/（逐帧 Parquet，多 episode 合并进共享文件）、videos/<camera_key>/<chunk>/file_*.mp4（多 episode 合并，按时间戳 seek）[6]。
• 与 v2.1 的区别：v2.1 每 episode 一个文件；v3 把多个 episode 合并成 file-XXXX.parquet/mp4，episode 边界由关系型元数据确定，目的是减少海量小文件 [6]。
• 加载：LeRobotDataset(repo_id)，delta_timestamps 取时间窗；StreamingLeRobotDataset 可不下载全量直接流式读；转换命令 python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 [6]。
• 采用情况：2025-10 新建的 2,989 个数据集中，1,633 个（约 54.6%）用 LeRobot 0.4.0/v3.0 格式 [37]。
• 发布方采用：AgiBot World 转 v2.0，Galaxea 与 Open-H-Embodiment 用 v2.1，DROID 的 LeRobot 版为 v3.0，RoboTwin 有 lerobot/robotwin_unified。

OXE 向 LeRobot 的转换

IPEC-COMMUNITY 的 OpenX-LeRobot 集合只核到 3 个子集（bridge_orig_lerobot、fractal20220817_data_lerobot、language_table_lerobot），转换脚本项目为 any4lerobot。"OXE 已整体转成 LeRobot"未证实 [38]。

Octo / OpenVLA 的标准化转换表

• Octo 的 oxe_dataset_configs.py 给每个 OXE 子集配置：image_obs_keys（primary/secondary/wrist 三槽）、depth_obs_keys、proprio_encoding、action_encoding。
• ProprioEncoding：NONE、POS_EULER、POS_QUAT、JOINT、JOINT_BIMANUAL、POS_NAV。ActionEncoding：EEF_POS、JOINT_POS、JOINT_POS_BIMANUAL、NAV_2D、JOINT_POS_BIMANUAL_NAV。大多数条目为 EEF_POS [39]。

动作空间统一

• π0：论文摘要核到多平台联合训练与 flow matching 架构；⚠️ "向最大维度 pad 零并配 mask"来自 openpi 代码，未回查一手页面 [40]。
• RDT-1B：统一动作空间 128 维（检索结果口径）[41]。
• Xiaomi-Robotics-1：统一动作向量并对缺失维度做 loss mask [5]。
• 共同模式：最大维度向量 + 每本体 mask/索引表 + 各维归一化，本质是 Octo 转换表的神经网络版。

元数据与质量工具

• Croissant 元数据：MLCommons 的 JSON-LD 数据集元数据格式，1.0 于 2024-03 发布；Croissant-RAI 扩展覆盖标注、安全与合规。⚠️ 未查到 RLDS/LeRobot 到 Croissant 的机器人专用映射，机器人领域尚无采用证据 [42]。
• Calibra：开源数据集可观测性工具，对 30 个公共 LeRobot 数据集给健康分；Trajlens：LeRobotDataset 校验器，审计 100 个 Hub 数据集：19 PASS、13 FAIL、47 加载错误、21 超时 [43][44]。
• HaptalAI：⚠️ 未找到"0-100 评分榜"；只找到署名 HaptalAI 的 Robotics Failure Benchmark v1.0（600 个留出测试 episodes）[45]。

谁拿哪些数据集预训练

• Xiaomi 只开源模型（5B；Apache 2.0 为二手口径，论文仅写“将发布代码与权重”，未声明 license）与后训练/推理/评测代码，10 万小时 UMI 预训练语料保持私有；基准成绩（RoboDojo 20.07 vs 前最佳 13.07、VLABench 59.1%）为公司口径 [5][48]。
• "小时占比"与"训练采样权重"是两回事：π0 用 n^0.43 压低大数据量组合，开源数据按 timestep 占 9.1%，不能与小时口径直接比较 [40]。

不均衡与负迁移

• 已核的证据是"选择与加权靠经验"：Re-Mix（数据混合权重） 指出 RT-X、Octo、OpenVLA 的混合权重都是专家直觉，学习到的权重在 RT-X 数据上比均匀权重平均高 38%、比人工权重高 32% [49]。
• Octo 先剔除无图像流或无末端增量控制者，再剔除重复/低分辨率/小众数据，剩余分成"更多样/较少样"两组，更多样组权重加倍；OpenVLA 沿用该权重，只保留第三视角相机+单臂末端控制的操作数据 [35][36]。
• OpenVLA 对 DROID 的处理是间接的负迁移证据：因动作 token 准确率始终偏低，在最后三分之一训练中移除 DROID [36]。
• Is Diversity All You Need（AgiBot 团队，公司口径）：任务多样性比每任务示范量重要；高质量单本体数据可高效迁移，多本体预训练非必需；操作员风格差异（速度多模态）会伤害策略，去偏后 GO-1-Pro 提升 15%，相当于 2.5 倍预训练数据 [50]。
• 概念见 跨本体负迁移与数据不均衡。
• ⚠️ "策划 5% 子集可恢复 85-90% 全量性能"出自 HumanSignal 评论文章，无一手实验来源，仅作线索；"OXE 中移动操作只占 1-2%"、"RT-X 比专用策略平均高约 50%"为二手口径，未回查。
• 同名字段在不同数据集中语义不同（动作类型、夹爪方向、频率），错配会静默污染模型。
• 评测泄漏：LIBERO-PRO 报告标准 LIBERO 上超过 90% 的模型在扰动设置下降至 0.0%，归因于对训练集动作序列和布局的记忆 [51]。⚠️ 未查到机器人数据集使用 canary string 的先例或正式的 VLA 预训练污染审计。

license 与商用限制

• 内部不一致：RH20T 页面把 NC 部分写成 CC BY 4.0 Non-Commercial，但链接的 license URL 是 CC BY-NC-SA；DROID 项目页未声明、论文链接 CC BY 4.0、LeRobot 镜像标 Apache-2.0；RoboTwin 2.0 官方卡 MIT、镜像 cc。使用前以原始仓库为准 [10][11][13][30]。

口径冲突与未核实

仍未查到：RLDS 官方 spec；π0 pad+mask 的一手页面；开源数据集的单位采集成本；AgiBot Digital World、GM-100、BEHAVIOR-1K 的规模字段；RoboMIND、RT-1 数据的 license。

来源

1. https://robotics-transformer-x.github.io/ （OXE 项目页，访问 2026-10-14）
2. https://arxiv.org/abs/2310.08864 （OXE 论文，访问 2026-10-14）
3. https://huggingface.co/datasets/agibot-world/AgiBotWorld-Beta （访问 2026-10-14）
4. https://huggingface.co/datasets/builddotai/Egocentric-100K （访问 2026-10-14）
5. https://huggingface.co/papers/2607.15330 （Xiaomi-Robotics-1，访问 2026-10-14）
6. https://huggingface.co/blog/lerobot-datasets-v3 （访问 2026-10-14）
7. https://huggingface.co/datasets/lerobot/community_dataset_v3 （访问 2026-10-14）
8. https://huggingface.co/datasets/OpenGalaxea/Galaxea-Open-World-Dataset （license 页，访问 2026-10-14）
9. https://rail-berkeley.github.io/bridgedata/ （访问 2026-10-14）
10. https://droid-dataset.github.io/ ，论文 https://arxiv.org/abs/2403.12945 （访问 2026-10-14）
11. https://huggingface.co/datasets/lerobot/droid_1.0.1 （访问 2026-10-14）
12. https://rail-berkeley.github.io/bridgedata/ （同 9）
13. https://rh20t.github.io/ （访问 2026-10-14）
14. https://arxiv.org/abs/2503.06669 （AgiBot World，访问 2026-10-14）；数据量亦见 https://arxiv.org/html/2503.06669
15. https://openelab.io/es/blogs/learn/agibot-world-2026-lerobot-download-format-license （二手）
16. https://arxiv.org/abs/2412.13877 （RoboMIND）
17. https://arxiv.org/abs/2509.00576 （Galaxea Open-World / G0，访问 2026-10-14）
18. https://huggingface.co/datasets/nvidia/PhysicalAI-Robotics-Open-H-Embodiment ，https://arxiv.org/abs/2604.21017 （访问 2026-10-14）
19. https://arxiv.org/abs/2510.08022 （FastUMI-100K）
20. https://arxiv.org/abs/2409.19499 （FastUMI）
21. https://arxiv.org/abs/2402.10329 （UMI）
22. https://huggingface.co/datasets/builddotai/Egocentric-10K （访问 2026-10-14）
23. https://arxiv.org/abs/2505.11709 （EgoDex）
24. https://arxiv.org/pdf/2110.07058 （Ego4D）；license 为 Labellerr 转述 https://www.labellerr.com/blog/egocentric-datasets-robotics/
25. https://www.labellerr.com/blog/egocentric-datasets-robotics/ （二手）
26. https://huggingface.co/datasets/ropedia-ai/xperience-10m （访问 2026-10-14）
27. https://arxiv.org/pdf/2605.06747 （HumanNet）
28. https://www.roboticstomorrow.com/news/2026/03/17/bones-studio-to-release-bones-seed-the-first-multimodal-motion-dataset-purpose-built-for-humanoid-robotics/26276/ （二手）
29. https://amass.is.tue.mpg.de/license.html
30. https://huggingface.co/datasets/TianxingChen/RoboTwin2.0 ，https://arxiv.org/abs/2506.18088
31. https://behavior.stanford.edu/
32. https://robocasa.ai/
33. https://arxiv.org/abs/2306.03310 （LIBERO）
34. https://arxiv.org/abs/2601.11421 （GM-100）
35. https://arxiv.org/abs/2405.12213 （Octo）
36. https://arxiv.org/abs/2406.09246 （OpenVLA）
37. https://www.kamenski.me/articles/lerobot-datasets-oct-2025 （二手分析，访问 2026-10-14）
38. https://huggingface.co/IPEC-COMMUNITY （访问 2026-10-14）
39. https://github.com/octo-models/octo/blob/main/octo/data/oxe/oxe_dataset_configs.py
40. https://arxiv.org/abs/2410.24164 （π0）
41. https://arxiv.org/pdf/2410.07864 （RDT-1B）
42. https://arxiv.org/abs/2407.16883 ，https://research.google/blog/croissant-a-metadata-format-for-ml-ready-datasets/ （Croissant）
43. https://discuss.huggingface.co/t/introducing-calibra-open-source-robot-dataset-observability/178259
44. https://discuss.huggingface.co/t/trajlens-a-validator-for-lerobotdataset-audited-100-hub-datasets/177276
45. https://claru.ai/datasets/haptalai-robotics-failure-benchmark （二手）
46. https://arxiv.org/abs/2503.14734 （GR00T N1）
47. https://arxiv.org/html/2608.30237 （Motus2）
48. https://technode.com/?p=197909 ，https://runtimewire.com/article/xiaomi-open-sources-xiaomi-robotics-1-5b-robot-model （二手）
49. https://arxiv.org/abs/2408.14037 （Re-Mix）
50. https://arxiv.org/abs/2507.06219 （Is Diversity All You Need）
51. https://arxiv.org/abs/2510.03827 （LIBERO-PRO）
52. https://arxiv.org/html/2602.22818v1 （LeRobot 库论文）
53. https://github.com/OpenDriveLab/AgiBot-World （访问 2026-10-14）
54. https://huggingface.co/datasets?other=lerobot&sort=trending（访问 2026-10-14）