With the wide application of 3D object detection in some fields such as autonomous driving, its energy consumption is constantly increasing, making the research on low-power consumption alternatives a key research area. The spiking neural networks (SNNs), possessing low-power consumption characteristics, offer a novel solution for this research. Consequently, we apply SNNs to monocular 3D object detection and propose the SpikeSMOKE architecture, which represents a new attempt at low-power monocular 3D object detection. It's well known that the discrete signals of SNNs can lead to information loss compared to artificial neural networks (ANNs), which limits their feature representation capabilities. To solve this problem, inspired by the synaptic filtering mechanism of biological neurons, we propose a new Cross-Scale Gating Coding Mechanism (CSGC), which can enhance feature representation by combining cross-scale fusion of attentional methods and gated filtering mechanisms. In addition, to reduce the computation and accelerate training, we present a novel light-weight residual block that can maintain spiking computing paradigm and the highest possible detection performance. Our method is effective on the KITTI, NuScenes-mini and CIFAR10/100 datasets. Compared to the baseline SpikeSMOKE under the 3D Object Detection, the proposed SpikeSMOKE with CSGC can achieve 11.78 (+2.82, Easy), 10.69 (+3.2, Moderate), and 10.48 (+3.17, Hard) on the KITTI autonomous driving dataset by AP|R11 at 0.7 IoU threshold, respectively. It is worth noting that the results of SpikeSMOKE can significantly reduce energy consumption compared with the results of SMOKE. And SpikeSMOKE-L (lightweight) can further reduce the amount of parameters by 3 times and computation by 10 times compared to SMOKE.


翻译:随着三维目标检测在自动驾驶等领域的广泛应用,其能耗不断攀升,使得低功耗替代方案的研究成为关键领域。具有低功耗特性的脉冲神经网络(SNNs)为该研究提供了新颖的解决方案。因此,我们将SNNs应用于单目三维目标检测,提出了SpikeSMOKE架构,这代表了低功耗单目三维目标检测的新尝试。众所周知,相较于人工神经网络(ANNs),SNNs的离散信号可能导致信息损失,从而限制其特征表示能力。为解决该问题,受生物神经元突触滤波机制的启发,我们提出了一种新的跨尺度门控编码机制(CSGC),该机制通过结合注意力方法的跨尺度融合与门控滤波机制来增强特征表示。此外,为减少计算量并加速训练,我们提出了一种新型轻量级残差块,该模块能够保持脉冲计算范式并尽可能维持最高的检测性能。我们的方法在KITTI、NuScenes-mini和CIFAR10/100数据集上验证有效。在三维目标检测任务中,相较于基线SpikeSMOKE,采用CSGC的SpikeSMOKE在KITTI自动驾驶数据集上以AP|R11(IoU阈值为0.7)指标分别达到11.78(Easy组提升+2.82)、10.69(Moderate组提升+3.2)和10.48(Hard组提升+3.17)。值得注意的是,与SMOKE的结果相比,SpikeSMOKE的结果能显著降低能耗。且SpikeSMOKE-L(轻量版)相较于SMOKE可进一步将参数量减少3倍、计算量减少10倍。

0
下载
关闭预览

相关内容

脉冲神经网络在普适计算中的潜力:综述与新视角
专知会员服务
16+阅读 · 2025年6月4日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
专知会员服务
63+阅读 · 2021年9月20日
【文献综述】深度学习目标检测方法及其主流框架综述
专知会员服务
119+阅读 · 2020年6月26日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
深度学习目标检测模型全面综述:Faster R-CNN、R-FCN和SSD
深度学习世界
10+阅读 · 2017年9月18日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月1日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
19+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员