A robust awareness of how dynamic scenes evolve is essential for Autonomous Driving systems, as they must accurately detect, track, and predict the behaviour of surrounding obstacles. Traditional perception pipelines that rely on modular architectures tend to suffer from cumulative errors and latency. Instance Prediction models provide a unified solution, performing Bird's-Eye-View segmentation and motion estimation across current and future frames using information directly obtained from different sensors. However, a key challenge in these models lies in the effective processing of the dense spatial and temporal information inherent in dynamic driving environments. This level of complexity demands architectures capable of capturing fine-grained motion patterns and long-range dependencies. We introduce BEVPredFormer, a novel multi-camera architecture for Bird's-Eye-View Instance Prediction that uses attention-based temporal processing to improve temporal and spatial comprehension of the scene and relies on an attention-based 3D projection of the camera information. BEVPredFormer employs a recurrent-free design that incorporates gated transformer layers, divided spatio-temporal attention mechanisms, and multi-scale prediction heads. Additionally, we incorporate a difference-guided feature extraction module that enhances temporal representations. Extensive ablation studies validate the design of the temporal module, including the configuration of the spatio-temporal attention blocks and the difference module, as well as the choice of feature extractor and view transform, the training strategy and the input resolution. When evaluated on the nuScenes dataset, BEVPredFormer performs on par with or surpasses state-of-the-art methods, particularly in long-range scenarios, at a moderate computational cost. Code is available at https://github.com/miguelag99/BEVPredFormer.


翻译:暂无翻译

0
下载
关闭预览

相关内容

自动驾驶中的3D目标检测研究进展
专知会员服务
12+阅读 · 2025年7月20日
【CVPR2023】BiFormer:基于双层路由注意力的视觉Transformer
专知会员服务
36+阅读 · 2023年3月20日
专知会员服务
38+阅读 · 2021年5月15日
专知会员服务
98+阅读 · 2021年1月24日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
17+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
14+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
14+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
相关VIP内容
自动驾驶中的3D目标检测研究进展
专知会员服务
12+阅读 · 2025年7月20日
【CVPR2023】BiFormer:基于双层路由注意力的视觉Transformer
专知会员服务
36+阅读 · 2023年3月20日
专知会员服务
38+阅读 · 2021年5月15日
专知会员服务
98+阅读 · 2021年1月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员