手持与 UMI 数据

一句话结论

1. UMI（Universal Manipulation Interface） 类数据已从 2024 年的学术方案变成 2026 年 VLA 预训练的主力便宜层：Xiaomi-Robotics-1 预训练用 >10 万小时 UMI 轨迹 [1]，RDT2 用 >1 万小时 [2]，HiFi-UMI（深朴智能 Simple AI（HiFi-UMI））公司口径累计 >2 万小时、开源 2,000 小时子集 [3]。
2. 成本与吞吐是核心卖点：原版夹爪 BOM 约 $73，GoPro 及配件约 $298，合计约 $371 [4]；杯子摆放任务 UMI 111 条/小时 vs 遥操 35 条/小时，约 3.2 倍 [5]。资本支出差一到两个数量级，但"每条数据单价差一个数量级"没有一手实证。
3. 中国市场价格带（媒体转述，非一手）：UMI/无本体数据 300-400 元/小时 [6]，另一口径 400-650 元/小时 [7]，真机遥操 500-1,000 元/小时 [6]；众包数采员实得时薪不足 20 元，转售价差约 17 倍（作者估算）[6]。
4. Generalist AI 的 GEN-0/GEN-1 官方只说"低成本穿戴设备上的人类活动"，硬件形态未披露，宜归为"穿戴式 robot-free 人类数据"，不应写成 UMI 夹爪 [8][9]。
5. 前沿争论已从"能不能用"转向"保真度与对齐"：HiFi-UMI 声称零机器人后训练与同域遥操持平（公司口径）[3]；灵巧手适配仍是范式最大缺口。"UMI 一人一天几千条"偏高，论文口径约 117 条/人时 [4]。

生产方式

原版 UMI（Chi et al., RSS 2024）

• 论文 Universal Manipulation Interface（arXiv 2402.10329），作者 Cheng Chi、Zhenjia Xu、Chuer Pan 等，Stanford / Columbia / TRI [4]。
• 硬件：3D 打印手持平行夹爪，腕部装 GoPro + 155° 鱼眼附件；夹爪两侧一对物理反光镜充当隐式立体视觉；原始鱼眼图直接喂策略，不做去畸变 [4]。整机 780 g，指行程 80 mm。
• 位姿反推：基于 ORB-SLAM3 的惯性-单目 SLAM，使用 GoPro 写入 MP4 的 IMU 数据。动捕基准上位置误差 6.1 mm、旋转 3.5°；双夹爪相对位姿误差 10.1 mm / 0.8° [4]。
• 动作可行性过滤：采集时不知道目标机器人的运动学，事后用 SLAM 得到的绝对末端位姿结合机器人基座与运动学逐条检查，不可行的 demo 丢弃 [4]。
• 策略侧：延迟匹配、相对轨迹动作表征、双臂用 inter-gripper proprioception [5]。

BOM 与吞吐：

与遥操的对比

• 吞吐：15 分钟含复位试验里，UMI 比遥操多 3 倍以上 demo，约为徒手速度的 48%；动态抛掷任务达徒手的 64%，遥操 15 分钟内零成功 demo [4]。
• 另一篇论文（TacUMI）称遥操约 4 分钟/条 vs 手持约 1 分 10 秒/条 [11]。
• 有效产出：遥操有效产出率 方面，智元口径专业遥操员 8 小时仅产出 2-3 小时有效数据（公司口径）[12]。UMI 路线的对应数字：鹿明机器人（FastUMI Pro，数采中心方案） 称有效率 >95%，同时 36Kr 引行业说法"早期 UMI 方案可用数据比例或仅约 10%"（无一手出处）[13]。
• 设备：ALOHA / Mobile ALOHA 预算约 $32k，GELLO 主臂不到 $300 但仍需一台真机作从臂；UMI 与手套把采集设备与机器人本体彻底解耦 [12]。
• 采集员薪酬基准见 遥操员薪酬基准；两者关系是竞合而非替代，危险化工、重载场景遥操不可替代 [13]。

人力规模样例

• 论文 in-the-wild 杯子任务：3 名采集员、12 人时、1,400 条 demo、30 个地点、15 种杯子；策略 43/60（71.7%），未见杯子 15/20 [4]。折算约 117 条/人时。
• 按 6-8 小时有效采集，一人一天约 700-940 条。"几千条"除非是极短任务，否则偏高（见口径冲突表）。

变体谱系

• FastUMI / FastUMI Pro（arXiv 2409.19499，上海 AI Lab 等）：用 RealSense T265 替代 GoPro VIO，硬件解耦；数据集约 1 万条轨迹、22 任务、19 类物体，约 25 小时（推算）。局限：纯视觉无触觉，T265 近距遮挡与低光敏感且有漂移 [14]。
• FastUMI Pro / FastUMI-100K（鹿明机器人（FastUMI Pro，数采中心方案））：背包式采集；公司口径 11 人 3 个月采 ~10 万条（>2,000 小时），人力成本为遥操 1/5，叠衣服 UMI 采集 <0.6 元/件 vs 遥操 3-5 元 [13][15]。
• UMI-on-Legs（CoRL 2024）：手持夹爪数据 + 仿真全身控制器，策略零样本迁到四足机械臂，各任务成功率 >70% [16]。
• DexUMI（CoRL 2025）：穿戴手外骨骼弥合运动学差异，视频里把人手 inpaint 成机器人手弥合视觉差异；两种灵巧手平均成功率 86%。作者不含 Cheng Chi。后续批评：WHED 称残余运动学失配导致快速不适、限制单次时长；RealDexUMI 指出接触经由外骨骼而非部署手产生，记录信号不在机器人动作空间 [17]。
• HiFi-UMI（深朴智能 Simple AI（HiFi-UMI），arXiv 2607.25895）：头戴离线双目惯性 SLAM、夹爪间原生相对位姿、微秒级 GPIO 同步、每手两个广角相机合计约 200° 视场，工作空间局部精度 3 mm；每条轨迹经仿真回放校验 [3]。
• RAI Institute Koala Gripper（RAI Institute）：采集设备与机器人夹爪协同设计，两根欠驱动手指加枢转"双拇指"；费用与规模页面未给 [18]。
• Sunday Robotics（Skill Transform 手套） Skill Capture Glove：手套与机器人 Memo 的手共享几何与传感器布局，配合 Skill Transform；公司口径约 90% 成功率把手套数据转为等效机器人数据 [19]。
• X Square TwinDEX（X Square Robot，2026-09-02 发布）：穿戴采集设备与机器人末端共享 3 指 9 自由度；公司口径有效吞吐最高为机上遥操 5.3 倍 [20]。
• 数据手套：Wuji 手套 零售页 $4,000-6,000/对（页面互相矛盾，未含关税运费）；Manus Metagloves Pro $6,315-12,758 [21][22]。设备价比 UMI 夹爪高一个数量级，且需重定向到目标手。
• 穹彻 RoboPocket：以 iPhone 为核心硬件，小规模众包测试，计划推"百元级"家用采集套件（未给售价）[15]。

中国的 UMI 产业化与众包

• 无本体采集在中国多为众包兼职：设备样例为 3 台 iPhone + 2 夹爪 + 头盔，层层劳务转包，按有效时长计薪 [6]。
• 数采员众包：企业直招"机器人数采员"月薪 4,000-6,000 元；众包宣传日赚 200 元，记者 10 天不足 1,000 元、时薪不足 20 元；另一报道称劳务方时薪 15 元而机器人公司支付 300-500 元/小时（未核实；在所引虎嗅文中未找到该说法）[6]。
• 美国侧：OpenTrain 有 UMI 夹爪操作零工岗位，$30/h（试点期）到 $60/h（校准后），仅为劳务价 [23]。

Generalist 的归类判断

• 官方：GEN-0 "270,000+ 小时真实世界多样操作数据，每周新增 10,000+ 小时"，来自数千家庭、仓库与工作场所，由"全球硬件网络与数千数据采集设备和机器人"支撑 [8]。
• GEN-1（2026-04-02）：预训练数据来自"低成本穿戴设备上的人类活动"，>50 万小时，预训练无机器人数据，每任务约 1 小时机器人数据 [9]。
• 判断：属"穿戴式 robot-free 人类数据"，与 UMI 同一价值层（便宜、无本体），但形态（夹爪/手套/头戴）官方未披露。二手源称其为 "Data Hands" 手套（非一手，且有与 GEN-0 的 27 万小时训练量混淆风险）[24]；36Kr 一篇称 27 万小时是"人类操作视频数据"，与官方"操作轨迹"措辞不一致 [25]。GEN-0 是否全为穿戴数据未被明说，只有 GEN-1 页面明确"预训练无机器人数据"。

厂商与渠道

渠道说明：能查到明确"向外售卖 UMI 类数据"的一手价目表几乎没有；鹿明有"数据超市"但无价格，光轮 EgoSuite 为企业销售加开源引流，Open100K 在 HF 为 gated 访问 [27]。

应用方式

• 阶段：几乎全部用于预训练（视觉-动作先验与任务多样性），小部分用于后训练（带指令标注的 UMI）。HiFi-UMI 声称可"zero-robot post-training"，即后训练也只用 UMI [3]。
• Xiaomi-Robotics-1（arXiv 2607.15330，2026-07）：预训练 VL:UMI = 1:9；后训练约 1 万小时，含 7,200+ 小时自有移动操作与双臂真机、1,000+ 小时带指令标注的 UMI、开源数据（Bridge V2、RT-1、DROID）；采样权重 VL 0.5 : 开源 0.5 : 指令 UMI 0.5 : 自有真机 8.5（论文口径），真机占 85% 为按权重总和 10 折算。全语料用 Qwen3.5-27B 自动标注约两周。数据规模消融在约 2 万小时子集上做（12.5/25/50/100%），开箱成功率从无动作预训练的 26% 升到 75%；5B 到 10B 的增益小于加数据的增益。论文未讨论运动学可行性过滤，对缺失动作维度用掩码损失 [1][29]。
• RDT2：>1 万小时 UMI 预训练，7B，声称零样本泛化到未见机器人平台 [2]。
• HiFi-UMI：预训练用 4,000 小时，未见任务动作误差降 41%，StarVLA-QwenPI 真机成功率 +18.1 个百分点，最强策略在精密插入任务达 85%；零机器人后训练与同域遥操差距 -2.5/+3.1/-0.6 个百分点（公司口径；遥操基线采在评测场景，UMI 数据不含评测场景）[3]。
• GEN-0 / GEN-1 / GEN-1：预训练主要（或全部）为穿戴人类数据，后训练每任务约 1 小时机器人数据；GEN-0 论述预训练量与后训练误差的幂律（二手转述）[8][9][30]。
• Sunday：ACT-1 标题为"Trained on Zero Robot Data"；ACT-2 在未见家庭叠衣 778/785（99.1%，公司口径，9 类衣物，排除袜子/内衣等）[19][31]。
• 综述 Data Pyramid for Embodied Manipulation（arXiv 2607.24744）：五层金字塔=真机、UMI、第一视角/第三视角、仿真、通用视觉语言，UMI 位于第二层；六大开放问题含大规模触觉、失败恢复、跨本体动作对齐、灵巧操作的第一视角数据 [32]。
• 占比规律：预训练里便宜层占 90% 以上，真机占 1-10%，后训练真机权重回到主导。小米后训练混合中真机权重 85%，并非"接近 100%"。完整对照见 数据价值阶梯。

Cheng Chi 的公开表态

• TechXplore 2024 访谈（二手检索摘要）："A data collector can demonstrate much harder tasks much faster compared to teleoperation"，并称随大规模多样示范数据"没有明显天花板" [33]。
• Sunday 博客（署名公司而非个人）：遥操造成"部署需要智能、智能需要部署数据"的死锁，路径是借助约 80 亿人的人体运动数据 [19]。
• Humanoids Daily 转述："Data is the biggest bottleneck"、"We designed the robot around the hand" [34]。
• "UMI 扩展潜力远大于遥操"的逐字出处未查到（相关 X 帖读取失败，HTTP 402），该句只能视为意译，不可作为直接引语 [33][35]。

规模、成本与价格

交叉核验：吞吐比 111:35 ≈ 3.2x 与 DexUMI 的 3.2x 不矛盾；36Kr 的"UMI 比遥操便宜约 1.5-2.5 倍"（400-650 vs 1,000）也不矛盾，因后者含设备折旧、处理、标注与场地。更多价格带见 机器人数据价格带（中/美/印度）。

局限与争议

1. 无本体感受：UMI 数据没有关节力矩/本体状态，策略依赖 SLAM 反推末端位姿；小米对缺失动作维度用损失掩码，说明跨本体统一动作空间仍靠工程补丁 [1]。
2. 观测分布差异：画面里是人手持塑料夹爪与鱼眼视角，部署时是机器人腕部相机。DexUMI 用 robot-hand inpainting，Sunday/TwinDEX/Koala 用采集端与机器人端硬件同构缩小差异。
3. 动作可达性过滤偏差：论文自己承认部署机运动学在采集时未知，事后丢弃不可行 demo，过滤会偏向保守动作；小米论文未披露做不做这一步 [4][1]。
4. SLAM 依赖：纹理缺失（白墙）场景失效；FastUMI 的 T265 有漂移、近距遮挡与低光问题 [4][14]。
5. 采集效率仍低于徒手：夹爪重而笨、自由度少（论文自述）[4]。
6. 灵巧手适配难：平行夹爪不能复现人手腕部旋转与精细操作；外骨骼有不适与时长限制，接触信号不在机器人动作空间；手套单价上万元 [17][7]。
7. 数据质量：早期方案可用比例"约 10%"无一手出处；鹿明称提至 95% 以上（公司口径）[13]。
8. 触觉缺口：FastUMI 论文承认纯视觉对易碎物体"may prove insufficient"；综述把大规模触觉列为金字塔最大结构缺口 [14][32]。
9. HiFi-UMI"与遥操持平"基于比公开数据集多 10 倍以上的 UMI 数据，且遥操基线在评测场景内采集，外推需谨慎 [3][26]。
10. 小米评测仅 4 项真机任务；规模消融仅用 2 万小时子集，12.5%、25% 两档出现过拟合并提前停止 [29]。
11. 100 万小时产能目标尚属计划：鹿明、灵初、星海图均为 2026 年目标，未见交付证据 [7]。
12. 众包劳动者薪酬与数据售价差距大，转包链条长，定价不透明 [6]。

口径冲突与未核实

来源

访问日期均为 2026-10-14。

1. Xiaomi-Robotics-1：https://arxiv.org/abs/2607.15330
2. RDT2：https://arxiv.org/abs/2602.03310
3. HiFi-UMI：https://arxiv.org/abs/2607.25895
4. UMI 论文：https://arxiv.org/abs/2402.10329 ；https://arxiv.org/html/2402.10329
5. UMI 项目页：https://umi-gripper.github.io/
6. 虎嗅（数采员众包、价格带）：https://www.huxiu.com/article/4870483.html ；https://m.huxiu.com/article/4892109.html?type=text
7. 36Kr（价格带、100 万小时目标、光轮）：https://eu.36kr.com/en/p/3967681693194120
8. Generalist GEN-0：https://generalistai.com/blog/gen-0
9. Generalist GEN-1：https://generalistai.com/blog/gen-1
10. AgileX：https://global.agilex.ai/blogs/robotics/what-is-umi-for-real-world-robot-data-collection ；Trossen：https://www.trossenrobotics.com/post/best-supported-umi-style-gripper
11. TacUMI：https://arxiv.org/pdf/2601.14550
12. 智元数采工厂访谈（虎嗅）：https://m.huxiu.com/article/4858885.html
13. 36Kr（鹿明、有效率）：https://eu.36kr.com/zh/p/3647410223034886
14. FastUMI：https://arxiv.org/html/2409.19499v2
15. KrASIA（鹿明背包采集）：https://kr-asia.com/this-company-has-built-a-backpack-style-system-for-robotics-data-collection
16. UMI-on-Legs：https://arxiv.org/pdf/2407.10353
17. DexUMI：https://arxiv.org/html/2505.21864v2 ；https://proceedings.mlr.press/v305/xu25b.html
18. Koala Gripper：https://koalagripper.rai-inst.com/
19. Sunday：https://www.sunday.ai/blog/no-robot-data
20. TwinDEX：https://theaiinsider.tech/2026/09/02/x-square-robot-launches-twindex-for-robot-free-dexterous-manipulation-training/
21. Wuji Glove：https://roboticscenter.ai/hardware/wuji-glove/ ；https://www.mybotshop.de/Wuji-Glove-pair_1
22. Manus：https://www.knoxlabs.com/collections/rx-gloves
23. OpenTrain 岗位：https://www.opentrain.ai/jobs/household-video-data-collector--cmr0f6uii003bgf3l7fk440ik/
24. Silicon Valley Invest Club（二手）：https://siliconvalleyinvestclub.com/generalist-ai/
25. 36Kr（Generalist 27 万小时口径）：https://eu.36kr.com/en/p/3561332469627784
26. 中国厂商融资与规模（觅蜂、鹿明、深朴、星海图）：https://news.pedaily.cn/202608/567742.shtml ；https://www.cls.cn/detail/2392902 ；https://runtimewire.com/zh/article/simple-ai-hifi-umi-robot-free-manipulation-dataset
27. 光轮 EgoSuite：https://runtimewire.com/article/lightwheel-egosuite-open100k-robot-training-data ；https://voxel51.com/blog/egosuite-open100k-mcap-fiftyone
28. Sunday 融资与手套迭代：https://www.humanoidsdaily.com/news/design-around-the-data-sunday-robotics-reveals-why-they-built-100-gloves-before-one-robot
29. Xiaomi-Robotics-1 全文：https://arxiv.org/html/2607.15330v2 ；https://runtimewire.com/article/xiaomi-open-sources-xiaomi-robotics-1-5b-robot-model
30. DeepLearning.AI（GEN-0 幂律，二手）：https://www.deeplearning.ai/the-batch/training-power-laws-translate-to-robotics
31. Humanoids Daily（ACT-2）：https://www.humanoidsdaily.com/features/the-umi-effect-why-robotics-companies-are-building-the-data-collector-first
32. Data Pyramid for Embodied Manipulation：https://arxiv.org/pdf/2607.24744
33. TechXplore（Cheng Chi 访谈，二手检索摘要）：https://techxplore.com/news/2024-03-framework-robots-policies.amp
34. 同 [28]
35. Cheng Chi X 帖（HTTP 402，未能读取原文）：https://x.com/i/status/1986993245822623774