Dense Bird's Eye View (BEV) semantic maps are central to autonomous driving, yet current multi-camera methods depend on costly, inconsistently annotated BEV ground truth. We address this limitation with a two-phase training strategy for fine-grained road marking segmentation that removes full supervision during pretraining and halves the amount of training data during fine-tuning while still outperforming the comparable supervised baseline model. During the self-supervised pretraining, BEVFormer predictions are differentiably reprojected into the image plane and trained against multi-view semantic pseudo-labels generated by the widely used semantic segmentation model Mask2Former. A temporal loss encourages consistency across frames. The subsequent supervised fine-tuning phase requires only 50% of the dataset and significantly less training time. With our method, the fine-tuning benefits from rich priors learned during pretraining boosting the performance and BEV segmentation quality (up to +2.5pp mIoU over the fully supervised baseline) on nuScenes. It simultaneously halves the usage of annotation data and reduces total training time by up to two thirds. The results demonstrate that differentiable reprojection plus camera perspective pseudo labels yields transferable BEV features and a scalable path toward reduced-label autonomous perception.


翻译:密集鸟瞰图(BEV)语义地图是自动驾驶的核心,然而当前的多摄像头方法依赖于昂贵且标注不一致的BEV地面真值。我们提出一种用于细粒度道路标线分割的两阶段训练策略,以解决这一局限:该策略在预训练阶段移除了完全监督,在微调阶段将训练数据量减半,同时性能仍优于可比的监督基线模型。在自监督预训练阶段,BEVFormer的预测结果被可微分地重投影到图像平面,并使用广泛采用的语义分割模型Mask2Former生成的多视角语义伪标签进行训练。时序损失鼓励帧间一致性。随后的监督微调阶段仅需50%的数据集,并显著减少了训练时间。通过我们的方法,微调受益于预训练期间学到的丰富先验知识,在nuScenes数据集上提升了BEV分割的性能与质量(相较于全监督基线,mIoU最高提升+2.5个百分点)。该方法同时将标注数据的使用量减半,并将总训练时间减少多达三分之二。结果表明,可微分重投影结合相机视角伪标签能够产生可迁移的BEV特征,并为减少标注的自动驾驶感知提供了一条可扩展的路径。

0
下载
关闭预览

相关内容

ICLR 2022 | BEIT论文解读:将MLM无监督预训练应用到CV领域
专知会员服务
33+阅读 · 2022年3月24日
专知会员服务
39+阅读 · 2021年5月16日
专知会员服务
42+阅读 · 2020年2月20日
面试题:预训练方法 BERT和OpenAI GPT有什么区别?
七月在线实验室
15+阅读 · 2019年5月15日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
BERT-预训练的强大
微信AI
61+阅读 · 2019年3月7日
半监督深度学习小结:类协同训练和一致性正则化
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
7+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
13+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
3+阅读 · 4月12日
相关VIP内容
ICLR 2022 | BEIT论文解读:将MLM无监督预训练应用到CV领域
专知会员服务
33+阅读 · 2022年3月24日
专知会员服务
39+阅读 · 2021年5月16日
专知会员服务
42+阅读 · 2020年2月20日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员