Robust and accurate perception of dynamic objects and map elements is crucial for autonomous vehicles performing safe navigation in complex traffic scenarios. While vision-only methods have become the de facto standard due to their technical advances, they can benefit from effective and cost-efficient fusion with radar measurements. In this work, we advance fusion methods by repurposing Gaussian Splatting as an efficient universal view transformer that bridges the view disparity gap, mapping both image pixels and radar points into a common Bird's-Eye View (BEV) representation. Our main contribution is GaussianCaR, an end-to-end network for BEV segmentation that, unlike prior BEV fusion methods, leverages Gaussian Splatting to map raw sensor information into latent features for efficient camera-radar fusion. Our architecture combines multi-scale fusion with a transformer decoder to efficiently extract BEV features. Experimental results demonstrate that our approach achieves performance on par with, or even surpassing, the state of the art on BEV segmentation tasks (57.3%, 82.9%, and 50.1% IoU for vehicles, roads, and lane dividers) on the nuScenes dataset, while maintaining a 3.2x faster inference runtime. Code and project page are available online.


翻译:在复杂交通场景中,自动驾驶车辆需通过动态目标与地图元素的鲁棒精准感知来实现安全导航。尽管纯视觉方法因技术进步已成为实际标准,但通过与雷达测量值进行高效且低成本的融合仍可进一步提升性能。本研究通过将高斯泼溅(Gaussian Splatting)重构为高效的通用视角转换器来推进融合方法,该转换器能弥合视角差异,将图像像素与雷达点统一映射至共同的鸟瞰图(BEV)表征空间。我们的核心贡献是GaussianCaR——一种端到端的BEV分割网络,与现有BEV融合方法不同,该网络利用高斯泼溅将原始传感器信息映射至隐特征空间,从而实现高效的相机-雷达融合。该架构结合多尺度融合与Transformer解码器,可高效提取BEV特征。实验结果表明,在nuScenes数据集上,我们的方法在BEV分割任务中(车辆、道路与车道分隔线的交并比分别为57.3%、82.9%与50.1%)达到甚至超越了当前最优性能,同时推理速度提升3.2倍。代码与项目页面已公开。

0
下载
关闭预览

相关内容

【NeurIPS2025】Instant4D:高效的4D高斯喷溅方法
专知会员服务
7+阅读 · 2025年10月2日
三维高斯泼溅应用综述:分割、编辑与生成
专知会员服务
15+阅读 · 2025年8月14日
自动驾驶中的3D目标检测研究进展
专知会员服务
11+阅读 · 2025年7月20日
综述 | 激光与视觉融合SLAM
计算机视觉life
18+阅读 · 2020年10月8日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
自动驾驶车载激光雷达技术现状分析
智能交通技术
17+阅读 · 2019年4月9日
激光slam导航方案凭什么更被各大厂家青睐?
计算机视觉life
15+阅读 · 2019年1月25日
视觉SLAM技术综述
计算机视觉life
27+阅读 · 2019年1月4日
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关资讯
综述 | 激光与视觉融合SLAM
计算机视觉life
18+阅读 · 2020年10月8日
自动驾驶高精度定位如何在复杂环境进行
智能交通技术
18+阅读 · 2019年9月27日
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
自动驾驶车载激光雷达技术现状分析
智能交通技术
17+阅读 · 2019年4月9日
激光slam导航方案凭什么更被各大厂家青睐?
计算机视觉life
15+阅读 · 2019年1月25日
视觉SLAM技术综述
计算机视觉life
27+阅读 · 2019年1月4日
相关基金
国家自然科学基金
12+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员