While end-to-end autonomous driving has achieved remarkable progress in geometric control, current systems remain constrained by a command-following paradigm that relies on simple navigational instructions. Transitioning to genuinely intelligent agents requires the capability to interpret and fulfill high-level, abstract human intentions. However, this advancement is hindered by the lack of dedicated benchmarks and semantic-aware evaluation metrics. In this paper, we formally define the task of Intention-Driven End-to-End Autonomous Driving and present Intention-Drive, a comprehensive benchmark designed to bridge this gap. We construct a large-scale dataset featuring complex natural language intentions paired with high-fidelity sensor data. To overcome the limitations of conventional trajectory-based metrics, we introduce the Imagined Future Alignment (IFA), a novel evaluation protocol leveraging generative world models to assess the semantic fulfillment of human goals beyond mere geometric accuracy. Furthermore, we explore the solution space by proposing two distinct paradigms: an end-to-end vision-language planner and a hierarchical agent-based framework. The experiments reveal a critical dichotomy where existing models exhibit satisfactory driving stability but struggle significantly with intention fulfillment. Notably, the proposed frameworks demonstrate superior alignment with human intentions.


翻译:尽管端到端自动驾驶在几何控制方面取得了显著进展,但现有系统仍受限于依赖简单导航指令的命令跟随范式。要实现真正智能的智能体,需要具备解释并满足高层次抽象人类意图的能力。然而,这一进展因缺乏专用基准测试和语义感知评估指标而受到阻碍。本文正式定义了意图驱动端到端自动驾驶任务,并提出了填补这一空白的综合基准测试框架Intention-Drive。我们构建了一个大规模数据集,其中包含与高保真传感器数据配对的复杂自然语言意图描述。为克服传统基于轨迹的评估指标的局限性,我们提出了想象未来对齐(IFA)这一新颖评估协议,该协议利用生成式世界模型来评估超越几何精度的人类目标语义实现程度。此外,我们通过提出两种不同范式探索了解决方案空间:端到端视觉语言规划器和分层智能体框架。实验揭示了一个关键二分现象:现有模型展现出令人满意的驾驶稳定性,但在意图实现方面存在显著困难。值得注意的是,所提出的框架在人类意图对齐方面表现出优越性。

0
下载
关闭预览

相关内容

自动驾驶中的轨迹预测大型基础模型:全面综述
专知会员服务
16+阅读 · 2025年9月18日
端到端自动驾驶系统研究综述
专知会员服务
31+阅读 · 2024年11月29日
端到端自动驾驶:挑战与前沿
专知会员服务
54+阅读 · 2023年7月3日
自动驾驶中可解释AI的综述和未来研究方向
专知会员服务
69+阅读 · 2022年1月10日
【干货书】人工智能自动驾驶,AI FOR CARS,129页pdf
专知会员服务
104+阅读 · 2021年12月27日
专知会员服务
98+阅读 · 2021年1月24日
深度学习技术在自动驾驶中的应用
智能交通技术
26+阅读 · 2019年10月27日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
【智能驾驶】97页PPT,读懂自动驾驶全产业链发展!
自动驾驶最新综述论文(31页PDF下载)
专知
119+阅读 · 2019年1月15日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
自动驾驶中的轨迹预测大型基础模型:全面综述
专知会员服务
16+阅读 · 2025年9月18日
端到端自动驾驶系统研究综述
专知会员服务
31+阅读 · 2024年11月29日
端到端自动驾驶:挑战与前沿
专知会员服务
54+阅读 · 2023年7月3日
自动驾驶中可解释AI的综述和未来研究方向
专知会员服务
69+阅读 · 2022年1月10日
【干货书】人工智能自动驾驶,AI FOR CARS,129页pdf
专知会员服务
104+阅读 · 2021年12月27日
专知会员服务
98+阅读 · 2021年1月24日
相关资讯
深度学习技术在自动驾驶中的应用
智能交通技术
26+阅读 · 2019年10月27日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
【智能驾驶】97页PPT,读懂自动驾驶全产业链发展!
自动驾驶最新综述论文(31页PDF下载)
专知
119+阅读 · 2019年1月15日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
28+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员