Accurate perception of the surrounding environment is essential for safe autonomous driving. 3D occupancy prediction, which estimates detailed 3D structures of roads, buildings, and other objects, is particularly important for vision-centric autonomous driving systems that do not rely on LiDAR sensors. However, in 3D semantic occupancy prediction -- where each voxel is assigned a semantic label -- annotated LiDAR point clouds are required, making data acquisition costly. In contrast, large-scale binary occupancy data, which only indicate occupied or free space without semantic labels, can be collected at a lower cost. Despite their availability, the potential of leveraging such data remains unexplored. In this study, we investigate the utilization of large-scale binary occupancy data from two perspectives: (1) pre-training and (2) learning-based auto-labeling. We propose a novel binary occupancy-based framework that decomposes the prediction process into binary and semantic occupancy modules, enabling effective use of binary occupancy data. Our experimental results demonstrate that the proposed framework outperforms existing methods in both pre-training and auto-labeling tasks, highlighting its effectiveness in enhancing 3D semantic occupancy prediction. The code will be available at https://github.com/ToyotaInfoTech/b2s-occupancy


翻译:准确感知周围环境对于安全自动驾驶至关重要。三维占据预测能够估计道路、建筑物及其他物体的详细三维结构,对于不依赖激光雷达传感器的视觉中心自动驾驶系统尤为重要。然而,在三维语义占据预测中——每个体素需分配语义标签——需要标注的激光雷达点云数据,导致数据获取成本高昂。相比之下,仅指示占据或自由空间而无语义标签的大规模二进制占据数据可以较低成本收集。尽管此类数据易于获取,其潜在利用价值仍未得到充分探索。本研究从两个角度探讨大规模二进制占据数据的利用:(1) 预训练与(2)基于学习的自动标注。我们提出了一种新颖的基于二进制占据的框架,将预测过程分解为二进制占据模块和语义占据模块,从而实现对二进制占据数据的有效利用。实验结果表明,所提框架在预训练和自动标注任务中均优于现有方法,突显了其在增强三维语义占据预测方面的有效性。代码将在 https://github.com/ToyotaInfoTech/b2s-occupancy 公开。

0
下载
关闭预览

相关内容

图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员