Diffusion policies excel at visuomotor control but often fail catastrophically under severe out-of-distribution (OOD) disturbances, such as unexpected object displacements or visual corruptions. To address this vulnerability, we introduce the Dream Diffusion Policy (DDP), a framework that deeply integrates a diffusion world model into the policy's training objective via a shared 3D visual encoder. This co-optimization endows the policy with robust state-prediction capabilities. When encountering sudden OOD anomalies during inference, DDP detects the real-imagination discrepancy and actively abandons the corrupted visual stream. Instead, it relies on its internal "imagination" (autoregressively forecasted latent dynamics) to safely bypass the disruption, generating imagined trajectories before smoothly realigning with physical reality. Extensive evaluations demonstrate DDP's exceptional resilience. Notably, DDP achieves a 73.8% OOD success rate on MetaWorld (vs. 23.9% without predictive imagination) and an 83.3% success rate under severe real-world spatial shifts (vs. 3.3% without predictive imagination). Furthermore, as a stress test, DDP maintains a 76.7% real-world success rate even when relying entirely on open-loop imagination post-initialization.


翻译:扩散策略在视觉运动控制中表现出色,但在严重分布外干扰(如意外物体位移或视觉损坏)下常常灾难性失败。为解决这一脆弱性,我们提出梦境扩散策略(Dream Diffusion Policy, DDP),一种通过共享三维视觉编码器将扩散世界模型深度融合到策略训练目标中的框架。这种联合优化赋予了策略稳健的状态预测能力。当推理过程中出现突发分布外异常时,DDP会检测真实-想象差异并主动丢弃受污染的视觉流。相反,它依赖内部“想象”(自回归预测的潜在动力学)安全绕过干扰,生成想象轨迹,随后平滑地与物理现实重新对齐。广泛评估证明了DDP的卓越韧性。值得注意的是,DDP在MetaWorld上实现了73.8%的分布外成功率(无预测想象时为23.9%),并在严重真实世界空间偏移下达到83.3%的成功率(无预测想象时为3.3%)。此外,作为压力测试,即使在初始后完全依赖开环想象,DDP仍保持76.7%的真实世界成功率。

0
下载
关闭预览

相关内容

在数学,统计学和计算机科学中,尤其是在机器学习和逆问题中,正则化是添加信息以解决不适定问题或防止过度拟合的过程。 正则化适用于不适定的优化问题中的目标函数。
【NVDIA】世界动作模型是零样本策略
专知会员服务
13+阅读 · 2月21日
144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
51+阅读 · 2025年11月21日
总结-空洞卷积(Dilated/Atrous Convolution)
极市平台
41+阅读 · 2019年2月25日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月29日
VIP会员
最新内容
无人机已改变战场,但并未解决指挥问题
专知会员服务
2+阅读 · 今天15:00
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
10+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
15+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员