EgoDex
Apple Vision Pro 采集的 829 小时第一视角灵巧操作数据
- 数据类型
- 人类第一视角视频;3D 手部位姿
- 规模口径
- 829 小时、33.8 万 episodes(论文 v1 口径;v2 图注约 30 万)、194 个桌面任务
- License
- CC-BY-NC-ND(GitHub 仓库说明;不可商用)
- 链接
- arxiv.org;github.com
内容与规模
EgoDex 由 Apple 发布,使用 Vision Pro(visionOS 2,设备端 SLAM)采集,共 829 小时、338,000 个 episode(论文 v1 口径,v2 图注为约 30 万、800 小时)、194 个桌面任务(如系鞋带、叠衣服),1080p 30Hz,逐片段带 3D 手部与手指关节追踪 [1]。
格式与 license
视频加手部位姿。GitHub 仓库说明数据集采用 CC-BY-NC-ND,不可商用。划分约为训练 725 小时、测试 7 小时、附加 97 小时 [2]。
谁在用
EgoScale 在 20,854 小时预训练之外还使用了 EgoDex 的 829 小时;Motus2 在 Table 1 中将其记为 800 小时 [3],见 EgoScale(2 万小时,对数线性 scaling)。
已知缺陷
场景以桌面为主,设备为头显而非机器人视角;手部位姿由设备估计,仍需重定向到灵巧手。
采用方(补)
被 NVIDIA EgoScale(唯一具名子集 829 小时)[4]、Motus2(13 万小时第一视角构成) 与 PhysBrain [5] 用于预训练。CC-BY-NC-ND 许可与其被用于这些预训练之间可能有许可张力,需对 Apple 仓库原文复核 ⚠️。
来源
相关卡片
卡片整理 2026-10-14。公司自报数据标“公司口径”;⚠️ 为未经独立核实。