End-to-end autonomous driving has emerged as a compelling paradigm for learning planning directly from sensor observations, while recent world-model-based approaches further enrich this paradigm by enabling explicit reasoning about how the scene may evolve in the future. Yet future prediction alone does not guarantee better planning unless the predicted evolution can be converted into planning-relevant trajectory updates. Many current methods still forecast future scene states without explicitly decoding the motion implications hidden in state transitions. As a result, future reasoning often remains descriptively useful but only weakly coupled to executable motion generation. To address this limitation, we propose \mathbf{IDOL}, an inverse-dynamics-guided future prediction framework for world-model-based end-to-end planning in latent BEV space, where inverse dynamics serves as the key bridge between future prediction and trajectory optimization. IDOL first predicts multiple future latent scene states with a BEV world model, then applies an inverse dynamics model to adjacent latent futures to decode transition-aware trajectory features and recover planning-relevant motion deltas that explain how the latent world evolves over time. These inverse-dynamics-derived signals are used to optimize the planned trajectory, turning future forecasting from passive scene anticipation into actionable planning guidance. A lightweight closed-loop refinement module further improves long-horizon consistency by reusing the optimized trajectory for another round of future-aware reasoning. By introducing inverse dynamics into latent future reasoning, IDOL tightens the coupling between world modeling and planning. Extensive experiments on the NAVSIM v1 and NAVSIM v2 benchmarks show that IDOL achieves state-of-the-art performance among comparable methods.


翻译:端到端自动驾驶已成为直接从传感器观测学习规划的一种有前景范式,而近期基于世界模型的方法通过显式推理场景未来演化进一步丰富了这一范式。然而,仅依赖未来预测并不能保证更好的规划,除非预测的演化结果能被转化为与规划相关的轨迹更新。当前许多方法仍直接预测未来场景状态,而未显式解码状态转换中隐含的运动含义,导致未来推理虽具有描述性价值,却与可执行的运动生成耦合薄弱。针对这一局限,我们提出IDOL——一种面向基于世界模型的端到端规划的逆动力学引导未来预测框架,在潜在BEV空间中运行,其中逆动力学作为连接未来预测与轨迹优化的关键桥梁。IDOL首先通过BEV世界模型预测多个未来潜在场景状态,随后利用相邻潜在未来状态的逆动力学模型解码具有过渡感知特性的轨迹特征,并恢复可解释潜在世界随时间演化的规划相关运动增量。这些逆动力学衍生信号被用于优化规划轨迹,将未来预测从被动的场景预测转化为可执行的规划指导。轻量级闭环细化模块通过复用优化轨迹进行新一轮未来感知推理,进一步提升长期一致性。通过在潜在未来推理中引入逆动力学,IDOL强化了世界建模与规划之间的耦合。在NAVSIM v1和NAVSIM v2基准上的大量实验表明,IDOL在同类方法中达到了最优性能。

0
下载
关闭预览

相关内容

自动驾驶中的轨迹预测大型基础模型:全面综述
专知会员服务
16+阅读 · 2025年9月18日
智能驾驶2024年度报告
专知会员服务
15+阅读 · 2025年1月23日
自动驾驶的世界模型综述
专知会员服务
48+阅读 · 2025年1月22日
端到端自动驾驶系统研究综述
专知会员服务
31+阅读 · 2024年11月29日
从特斯拉视角,看智能驾驶研究框架,90页pdf
专知会员服务
40+阅读 · 2024年6月5日
端到端自动驾驶:挑战与前沿
专知会员服务
54+阅读 · 2023年7月3日
自动驾驶中可解释AI的综述和未来研究方向
专知会员服务
69+阅读 · 2022年1月10日
专知会员服务
39+阅读 · 2021年9月7日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
深度学习技术在自动驾驶中的应用
智能交通技术
26+阅读 · 2019年10月27日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
【智能驾驶】97页PPT,读懂自动驾驶全产业链发展!
自动驾驶最新综述论文(31页PDF下载)
专知
120+阅读 · 2019年1月15日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 今天4:08
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
7+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关VIP内容
自动驾驶中的轨迹预测大型基础模型:全面综述
专知会员服务
16+阅读 · 2025年9月18日
智能驾驶2024年度报告
专知会员服务
15+阅读 · 2025年1月23日
自动驾驶的世界模型综述
专知会员服务
48+阅读 · 2025年1月22日
端到端自动驾驶系统研究综述
专知会员服务
31+阅读 · 2024年11月29日
从特斯拉视角,看智能驾驶研究框架,90页pdf
专知会员服务
40+阅读 · 2024年6月5日
端到端自动驾驶:挑战与前沿
专知会员服务
54+阅读 · 2023年7月3日
自动驾驶中可解释AI的综述和未来研究方向
专知会员服务
69+阅读 · 2022年1月10日
专知会员服务
39+阅读 · 2021年9月7日
相关资讯
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
深度学习技术在自动驾驶中的应用
智能交通技术
26+阅读 · 2019年10月27日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
【智能驾驶】97页PPT,读懂自动驾驶全产业链发展!
自动驾驶最新综述论文(31页PDF下载)
专知
120+阅读 · 2019年1月15日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员