3D semantic occupancy prediction is crucial for autonomous driving, providing a dense, semantically rich environmental representation. However, existing methods focus on in-distribution scenes, making them susceptible to Out-of-Distribution (OoD) objects and long-tail distributions, which increases the risk of undetected anomalies and misinterpretations, posing safety hazards. To address these challenges, we introduce Out-of-Distribution Semantic Occupancy Prediction, targeting OoD detection in 3D voxel space. To fill dataset gaps, we propose a Realistic Anomaly Augmentation that injects synthetic anomalies while preserving realistic spatial and occlusion patterns, enabling the creation of two datasets: VAA-KITTI and VAA-KITTI-360. Then, a novel framework that integrates OoD detection into 3D semantic occupancy prediction, OccOoD, is proposed, which uses Cross-Space Semantic Refinement (CSSR) to refine semantic predictions from complementary voxel and BEV representations, improving OoD detection. Experimental results demonstrate that OccOoD achieves state-of-the-art OoD detection with an AuROC of 65.50% and an AuPRCr of 31.83 within a 1.2m region, while maintaining competitive semantic occupancy prediction performance and generalization in real-world urban driving scenes. The established datasets and source code will be made publicly available at https://github.com/7uHeng/OccOoD.


翻译:三维语义占据预测对于自动驾驶至关重要,它提供了密集且语义丰富的环境表征。然而,现有方法主要关注分布内场景,使其易受分布外对象和长尾分布的影响,这增加了未检测到的异常和误判的风险,从而构成安全隐患。为应对这些挑战,我们提出了分布外语义占据预测,旨在三维体素空间中进行分布外检测。为填补数据集空白,我们提出了一种真实异常增强方法,该方法在注入合成异常的同时保持真实的空间和遮挡模式,从而能够创建两个数据集:VAA-KITTI 和 VAA-KITTI-360。随后,我们提出了一种将分布外检测集成到三维语义占据预测中的新颖框架 OccOoD,该框架利用跨空间语义精炼模块,通过互补的体素和鸟瞰图表示来精炼语义预测,从而提升分布外检测性能。实验结果表明,OccOoD 在 1.2 米区域内实现了最先进的分布外检测性能,其 AuROC 达到 65.50%,AuPRCr 达到 31.83%,同时在真实世界城市驾驶场景中保持了具有竞争力的语义占据预测性能和泛化能力。所建立的数据集和源代码将在 https://github.com/7uHeng/OccOoD 公开。

0
下载
关闭预览

相关内容

《分布外泛化评估》综述
专知会员服务
43+阅读 · 2024年3月6日
【剑桥大学博士论文】机器学习中的分布外泛化,214页pdf
【NeurIPS2021】学习用于分布外预测的因果语义表示
专知会员服务
18+阅读 · 2021年11月19日
【NeurIPS2020】基于能量的分布外检测
专知会员服务
14+阅读 · 2020年10月10日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
超详细干货 | 三维语义分割概述及总结
计算机视觉life
33+阅读 · 2019年3月19日
15款免费预测分析软件!收藏好,别丢了!
七月在线实验室
11+阅读 · 2018年2月27日
见微知著:语义分割中的弱监督学习
深度学习大讲堂
11+阅读 · 2017年12月6日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关资讯
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
超详细干货 | 三维语义分割概述及总结
计算机视觉life
33+阅读 · 2019年3月19日
15款免费预测分析软件!收藏好,别丢了!
七月在线实验室
11+阅读 · 2018年2月27日
见微知著:语义分割中的弱监督学习
深度学习大讲堂
11+阅读 · 2017年12月6日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员