sim2real gap

概念与方法物理仿真

仿真训练的策略到真机性能下降,视觉与接触动力学是两大来源

定义与机制

仿真里训练或评测的策略迁移到真机时出现的性能落差。来源包括视觉(渲染画面"看起来假")和动力学(摩擦、标定、延迟、传感噪声,以及刚体到可变形物体的差距)[2]。

证据与数字

  • 视觉缓解:域随机化,或用 Cosmos Transfer 2.5 接收 Isaac 渲染的 edge/depth/seg 做 sim2real 视频增强 [3];GraspVLA 靠光照纹理随机化与大规模场景,纯合成数据约 10 亿帧,论文估算成本约 5,000 美元 [5]。
  • 接触丰富与可变形物体(如布料)仍是难点,有基准比较 MuJoCo、Bullet、Flex、SOFA 的现实差距 [1]。
  • 光轮 RoboFinals 官网自述尚未建立与真机的相关性 [4]。

争议或反方

  • 仿真算力成本已很低,真正的成本在资产建模、场景设计与真实标定,且不透明。
  • 评测层面,有说法称仿真基准与真机排名相关性约 0.6-0.7(⚠️ 原文待核)。
  • 世界模型路线声称绕开物理建模,但引入另一类失败(见物理仿真 vs 世界模型的两种失败模式)。

来源

  1. https://arxiv.org/abs/2310.09543v1 (2026-10-14)
  2. https://arxiv.org/pdf/2609.10243 (2026-10-14)
  3. https://github.com/nvidia-cosmos/cosmos-transfer2.5 (2026-10-14)
  4. https://www.lightwheel.ai/robofinals (2026-10-14)
  5. https://arxiv.org/html/2505.03233v3 (2026-10-14)

卡片整理 2026-10-14。公司自报数据标“公司口径”;⚠️ 为未经独立核实。