This survey paper presents a comprehensive examination of Spiking Neural Network (SNN) architecture search (SNNaS) from a unique hardware/software co-design perspective. SNNs, inspired by biological neurons, have emerged as a promising approach to neuromorphic computing. They offer significant advantages in terms of power efficiency and real-time resource-constrained processing, making them ideal for edge computing and IoT applications. However, designing optimal SNN architectures poses significant challenges, due to their inherent complexity (e.g., with respect to training) and the interplay between hardware constraints and SNN models. We begin by providing an overview of SNNs, emphasizing their operational principles and key distinctions from traditional artificial neural networks (ANNs). We then provide a brief overview of the state of the art in NAS for ANNs, highlighting the challenges of directly applying these approaches to SNNs. We then survey the state of the art in SNN-specific NAS approaches. Finally, we conclude with insights into future research directions for SNN research, emphasizing the potential of hardware/software co-design in unlocking the full capabilities of SNNs. This survey aims to serve as a valuable resource for researchers and practitioners in the field, offering a holistic view of SNNaS and underscoring the importance of a co-design approach to harness the true potential of neuromorphic computing.


翻译:本综述论文从独特的硬件/软件协同设计视角,对脉冲神经网络架构搜索进行了全面审视。受生物神经元启发的脉冲神经网络已成为神经形态计算领域一种前景广阔的方法。它们在能效和实时资源受限处理方面具有显著优势,使其成为边缘计算和物联网应用的理想选择。然而,设计最优的脉冲神经网络架构面临重大挑战,这源于其固有的复杂性(例如在训练方面)以及硬件约束与脉冲神经网络模型之间的相互作用。我们首先概述脉冲神经网络,重点阐述其运行原理以及与传统人工神经网络的关键区别。随后简要回顾人工神经网络架构搜索的最新进展,强调将这些方法直接应用于脉冲神经网络所面临的挑战。接着系统梳理脉冲神经网络专用架构搜索方法的研究现状。最后,我们展望脉冲神经网络研究的未来方向,重点探讨硬件/软件协同设计在释放脉冲神经网络全部潜能方面的前景。本综述旨在为该领域的研究人员和实践者提供有价值的参考,通过呈现脉冲神经网络架构搜索的整体图景,强调采用协同设计方法对发挥神经形态计算真正潜力的重要性。

0
下载
关闭预览

相关内容

脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
神经网络结构搜索前沿综述
专知会员服务
50+阅读 · 2024年1月2日
神经网络架构搜索研究进展与展望
专知会员服务
50+阅读 · 2023年12月21日
专知会员服务
63+阅读 · 2021年9月20日
专知会员服务
58+阅读 · 2021年2月12日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
37+阅读 · 2020年12月30日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
Arxiv
0+阅读 · 2月2日
VIP会员
相关VIP内容
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
神经网络结构搜索前沿综述
专知会员服务
50+阅读 · 2024年1月2日
神经网络架构搜索研究进展与展望
专知会员服务
50+阅读 · 2023年12月21日
专知会员服务
63+阅读 · 2021年9月20日
专知会员服务
58+阅读 · 2021年2月12日
最新《神经架构搜索NAS》报告,附46页ppt与视频
专知会员服务
37+阅读 · 2020年12月30日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员