Neuromorphic vision made significant progress in recent years, thanks to the natural match between spiking neural networks and event data in terms of biological inspiration, energy savings, latency and memory use for dynamic visual data processing. However, optimising its energy requirements still remains a challenge within the community, especially for embedded applications. One solution may reside in preprocessing events to optimise data quantity thus lowering the energy cost on neuromorphic hardware, proportional to the number of synaptic operations. To this end, we extend an end-to-end neuromorphic line detection mechanism to introduce line-based event data preprocessing. Our results demonstrate on three benchmark event-based datasets that preprocessing leads to an advantageous trade-off between energy consumption and classification performance. Depending on the line-based preprocessing strategy and the complexity of the classification task, we show that one can maintain or increase the classification accuracy while significantly reducing the theoretical energy consumption. Our approach systematically leads to a significant improvement of the neuromorphic classification efficiency, thus laying the groundwork towards a more frugal neuromorphic computer vision thanks to event preprocessing.


翻译:近年来,神经形态视觉取得了显著进展,这得益于脉冲神经网络与事件数据在动态视觉数据处理方面的生物启发性、节能性、低延迟性和内存使用效率上的天然匹配。然而,优化其能量需求仍然是该领域面临的一个挑战,尤其是在嵌入式应用中。一种可能的解决方案在于对事件进行预处理,以优化数据量,从而降低神经形态硬件上的能量成本——该成本与突触操作的数量成正比。为此,我们扩展了一种端到端的神经形态线检测机制,引入了基于线的事件数据预处理。我们在三个基于事件的基准数据集上的结果表明,预处理能在能量消耗和分类性能之间实现有利的权衡。根据所采用的基于线的预处理策略和分类任务的复杂度,我们证明可以在显著降低理论能量消耗的同时,保持甚至提高分类准确率。我们的方法系统地显著提升了神经形态分类的效率,从而为通过事件预处理实现更节约的神经形态计算机视觉奠定了基础。

0
下载
关闭预览

相关内容

基于脉冲神经网络的边缘智能
专知会员服务
20+阅读 · 2025年7月23日
能耗优化的神经网络轻量化方法研究进展
专知会员服务
27+阅读 · 2023年1月29日
基于深度学习的计算机视觉研究新进展
专知会员服务
152+阅读 · 2022年4月21日
基于深度神经网络的高效视觉识别研究进展与新方向
专知会员服务
40+阅读 · 2021年8月31日
专知会员服务
38+阅读 · 2021年8月5日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
自注意力机制在计算机视觉中的应用
GAN生成式对抗网络
19+阅读 · 2018年12月20日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
基于关系网络的视觉建模:有望替代卷积神经网络
微软研究院AI头条
10+阅读 · 2019年7月12日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
自注意力机制在计算机视觉中的应用
GAN生成式对抗网络
19+阅读 · 2018年12月20日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员