World4RL

数据配方

先用模仿学习得到预训练策略，再把预训练的扩散世界模型当作高保真模拟器，在想象环境中端到端 PPO 精调，避免真机训练的成本与风险。引入 two-hot 动作编码 [1]。世界模型约 330M 参数（2D U-Net 去噪器），每任务 230 条离线轨迹（50 条专家演示、150 条 BC 策略 rollout、30 条随机 rollout），成败判定用预训练 ResNet18 骨干。

结果与证据

摘要称成功率显著高于模仿学习与其他基线（摘要无数字）。正文：Franka 真机六任务平均 68.3%（BC）→93.3%（World4RL），每任务 20 次试验；Meta-World 六任务平均 51.5→67.5（+16 pt）。

已知缺陷与口径

奖励由模型自身（成败分类器）给出，属"自评自判"，对世界模型幻觉成功敏感。收益数字需以原文表格为准。

来源

1. arXiv 2509.19080 (2026-10-14)