Autonomous driving relies on robust models trained on high-quality, large-scale multi-view driving videos. While world models offer a cost-effective solution for generating realistic driving videos, they struggle to maintain instance-level temporal consistency and spatial geometric fidelity. To address these challenges, we propose InstaDrive, a novel framework that enhances driving video realism through two key advancements: (1) Instance Flow Guider, which extracts and propagates instance features across frames to enforce temporal consistency, preserving instance identity over time. (2) Spatial Geometric Aligner, which improves spatial reasoning, ensures precise instance positioning, and explicitly models occlusion hierarchies. By incorporating these instance-aware mechanisms, InstaDrive achieves state-of-the-art video generation quality and enhances downstream autonomous driving tasks on the nuScenes dataset. Additionally, we utilize CARLA's autopilot to procedurally and stochastically simulate rare but safety-critical driving scenarios across diverse maps and regions, enabling rigorous safety evaluation for autonomous systems. Our project page is https://shanpoyang654.github.io/InstaDrive/page.html.


翻译:自动驾驶依赖于在高质量、大规模多视角驾驶视频上训练的鲁棒模型。尽管世界模型为生成真实驾驶视频提供了一种经济高效的解决方案,但它们在保持实例级时间一致性和空间几何保真度方面存在困难。为应对这些挑战,我们提出了InstaDrive,这是一个通过两项关键进展提升驾驶视频真实性的新颖框架:(1) 实例流引导器,它提取并在帧间传播实例特征以强制时间一致性,从而随时间保持实例身份。(2) 空间几何对齐器,它改进了空间推理,确保了精确的实例定位,并显式地建模了遮挡层次结构。通过整合这些实例感知机制,InstaDrive在nuScenes数据集上实现了最先进的视频生成质量,并增强了下游自动驾驶任务。此外,我们利用CARLA的自动驾驶系统,在不同地图和区域中程序化且随机地模拟罕见但安全关键的驾驶场景,从而为自动驾驶系统提供严格的安全评估。我们的项目页面是 https://shanpoyang654.github.io/InstaDrive/page.html。

0
下载
关闭预览

相关内容

自动驾驶中的基础模型:场景生成与场景分析综述
专知会员服务
26+阅读 · 2025年6月16日
自动驾驶的世界模型综述
专知会员服务
42+阅读 · 2025年1月22日
深度学习技术在自动驾驶中的应用
智能交通技术
26+阅读 · 2019年10月27日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
自动驾驶仿真软件列表
智能交通技术
13+阅读 · 2019年5月9日
无人驾驶开源仿真平台整理
智能交通技术
27+阅读 · 2019年5月9日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
深度学习技术在自动驾驶中的应用
智能交通技术
26+阅读 · 2019年10月27日
无人驾驶仿真软件
智能交通技术
22+阅读 · 2019年5月9日
自动驾驶仿真软件列表
智能交通技术
13+阅读 · 2019年5月9日
无人驾驶开源仿真平台整理
智能交通技术
27+阅读 · 2019年5月9日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员