Collision avoidance systems have evolved toward camera-based deep learning approaches for driving scene understanding. However, deployment in edge environments such as country clubs is constrained by limited computational resources and unreliable communication infrastructure. Moreover, constructing large-scale datasets for the target domain involves substantial annotation cost. To address these limitations, we propose an instance-aware knowledge distillation framework for semi-supervised learning. Specifically, we generate pseudo labels that mitigate teacher bias by leveraging domain priors from the teacher and instance-centric knowledge from foundation models. The trained lightweight student is deployed in the proposed collision avoidance system and performs multiple dense prediction tasks in real-time. The system detects frontal obstacles and encodes their spatial information into controller area network messages for automated guided vehicle operation. To achieve this, we construct a large-scale country club dataset and perform field validation of the proposed system. Experimental results demonstrate that the student outperforms the large teacher in instance segmentation while mitigating performance degradation in monocular depth estimation. Compared with the teacher, the student reduces FLOPs by 22.68$\times$ and parameters by 14.33$\times$, achieving 6.46 FPS on a low-cost edge device.


翻译:碰撞规避系统已朝着基于摄像头的深度学习方法发展,用于驾驶场景理解。然而,在乡村俱乐部等边缘环境中的部署受到有限计算资源和不可靠通信基础设施的限制。此外,为目标领域构建大规模数据集涉及高昂的标注成本。为应对这些限制,我们提出了一种用于半监督学习的实例感知知识蒸馏框架。具体而言,我们通过利用来自教师的领域先验知识和来自基础模型的实例中心知识,生成能够缓解教师偏见的伪标签。训练后的轻量级学生模型部署在所提出的碰撞规避系统中,并实时执行多个密集预测任务。该系统检测前方障碍物,并将其空间信息编码为控制器局域网络消息,以用于自动导引车操作。为此,我们构建了一个大规模乡村俱乐部数据集,并对所提系统进行了现场验证。实验结果表明,学生模型在实例分割方面优于大型教师模型,同时减轻了单目深度估计中的性能退化。与教师模型相比,学生模型将FLOPs降低了22.68倍,参数量减少了14.33倍,在低成本边缘设备上实现了6.46 FPS。

0
下载
关闭预览

相关内容

LargeAD:面向自动驾驶的大规模跨传感器数据预训练
专知会员服务
17+阅读 · 2025年1月8日
电子科大最新《深度半监督学习》综述论文,24页pdf
专知会员服务
90+阅读 · 2021年3月6日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员