sim2real gap
概念与方法物理仿真
仿真训练的策略到真机性能下降,视觉与接触动力学是两大来源
定义与机制
仿真里训练或评测的策略迁移到真机时出现的性能落差。来源包括视觉(渲染画面"看起来假")和动力学(摩擦、标定、延迟、传感噪声,以及刚体到可变形物体的差距)[2]。
证据与数字
- 视觉缓解:域随机化,或用 Cosmos Transfer 2.5 接收 Isaac 渲染的 edge/depth/seg 做 sim2real 视频增强 [3];GraspVLA 靠光照纹理随机化与大规模场景,纯合成数据约 10 亿帧,论文估算成本约 5,000 美元 [5]。
- 接触丰富与可变形物体(如布料)仍是难点,有基准比较 MuJoCo、Bullet、Flex、SOFA 的现实差距 [1]。
- 光轮 RoboFinals 官网自述尚未建立与真机的相关性 [4]。
争议或反方
- 仿真算力成本已很低,真正的成本在资产建模、场景设计与真实标定,且不透明。
- 评测层面,有说法称仿真基准与真机排名相关性约 0.6-0.7(⚠️ 原文待核)。
- 世界模型路线声称绕开物理建模,但引入另一类失败(见物理仿真 vs 世界模型的两种失败模式)。
来源
相关卡片
物理仿真 vs 世界模型的两种失败模式概念与方法
仿真物理对但画面假,世界模型画面真但物理可能错,评测需分开设计
GraspVLA论文与基准
纯合成 SynGrasp-1B(10 亿帧)预训练的抓取 VLA,估算总成本约 5,000 美元
Isaac Sim / Isaac Lab工具与格式 · 美国
NVIDIA GPU 并行物理加 RTX 渲染的仿真器与机器人学习框架
NVIDIA Cosmos(Predict / Transfer)工具与格式 · 美国
NVIDIA 开源世界基础模型家族,Predict 生成视频,Transfer 做 sim2real 增强
RoboFinals(光轮评测平台)工具与格式 · 中国
光轮 100 任务 VLA 仿真评测平台,尚未验证与真机相关性
卡片整理 2026-10-14。公司自报数据标“公司口径”;⚠️ 为未经独立核实。