LAPA(latent action)

论文与基准人类视频

从无动作标签人类视频学离散潜在动作,再用少量真机映射

链接
arxiv.org

数据配方

三步:用 VQ-VAE 目标训练动作量化模型,学帧间离散潜在动作;用潜在动作作伪标签预训练潜在 VLA;最后用少量真机数据把潜在动作映射到机器人动作。预训练可只用人类操作视频 [1]。

结果与证据

仅用人类操作视频预训练即优于用 Bridgev2 预训练;v2 摘要称比用真值动作训练的 SOTA VLA 高 6.22%,预训练效率超 30 倍(论文口径)[1]。

已知缺陷与口径

潜在动作不对应物理量,映射层依赖少量真机数据。真机评测规模有限。人类视频到机器人动作的本体差异仍靠微调弥补。

来源

  1. arXiv 2410.11758 (2026-10-14)

卡片整理 2026-10-14。公司自报数据标“公司口径”;⚠️ 为未经独立核实。