LAPA(latent action)
论文与基准人类视频
从无动作标签人类视频学离散潜在动作,再用少量真机映射
数据配方
三步:用 VQ-VAE 目标训练动作量化模型,学帧间离散潜在动作;用潜在动作作伪标签预训练潜在 VLA;最后用少量真机数据把潜在动作映射到机器人动作。预训练可只用人类操作视频 [1]。
结果与证据
仅用人类操作视频预训练即优于用 Bridgev2 预训练;v2 摘要称比用真值动作训练的 SOTA VLA 高 6.22%,预训练效率超 30 倍(论文口径)[1]。
已知缺陷与口径
潜在动作不对应物理量,映射层依赖少量真机数据。真机评测规模有限。人类视频到机器人动作的本体差异仍靠微调弥补。
来源
- arXiv 2410.11758 (2026-10-14)
相关卡片
卡片整理 2026-10-14。公司自报数据标“公司口径”;⚠️ 为未经独立核实。