Spiking Neural Networks (SNNs) have garnered significant attention as a central paradigm in neuromorphic computing, owing to their energy efficiency and biological plausibility. However, training deep SNNs has critically depended on explicit normalization schemes, leading to a trade-off between performance and biological realism. To resolve this conflict, we propose a normalization-free learning framework that incorporates lateral inhibition inspired by cortical circuits. Our framework replaces the traditional feedforward SNN layer with distinct excitatory (E) and inhibitory (I) neuronal populations that capture the key features of the cortical E-I interaction. The E-I circuit dynamically regulates neuronal activity through subtractive and divisive inhibition, which respectively control the excitability and gain of neurons. To stabilize end-to-end training of the biologically constrained SNNs, we propose two key techniques: E-I Init and E-I Prop. E-I Init is a dynamic parameter initialization scheme that balances excitatory and inhibitory inputs while performing gain control. E-I Prop decouples the backpropagation of the circuit from the forward pass, regulating gradient flow. Experiments across multiple datasets and network architectures demonstrate that our framework enables stable training of deep normalization-free SNNs with biological realism, achieving competitive performance. Therefore, our work not only provides a solution to training deep SNNs but also serves as a computational platform for further exploring the functions of E-I interaction in large-scale cortical computation. Code is available at https://github.com/vwOvOwv/DeepEISNN.


翻译:脉冲神经网络(SNNs)因其高能效和生物合理性,已成为神经形态计算的核心范式而受到广泛关注。然而,深度SNN的训练严重依赖于显式的归一化方案,导致性能与生物真实性之间存在权衡。为解决这一矛盾,我们提出了一种无归一化学习框架,该框架融合了受皮层回路启发的侧向抑制机制。我们的框架用不同的兴奋性(E)和抑制性(I)神经元群体取代了传统的前馈SNN层,这些群体捕捉了皮层E-I相互作用的关键特征。E-I回路通过减法和除法抑制动态调节神经元活动,分别控制神经元的兴奋性和增益。为了稳定具有生物学约束的SNN的端到端训练,我们提出了两项关键技术:E-I Init和E-I Prop。E-I Init是一种动态参数初始化方案,在执行增益控制的同时平衡兴奋性和抑制性输入。E-I Prop将回路的反向传播与前向传递解耦,从而调节梯度流。在多个数据集和网络架构上的实验表明,我们的框架能够稳定地训练具有生物真实性的深度无归一化SNN,并取得有竞争力的性能。因此,我们的工作不仅为训练深度SNN提供了一种解决方案,也为进一步探索E-I相互作用在大规模皮层计算中的功能提供了一个计算平台。代码可在 https://github.com/vwOvOwv/DeepEISNN 获取。

0
下载
关闭预览

相关内容

脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
【2022新书】深度学习归一化技术,117页pdf
专知会员服务
98+阅读 · 2022年11月25日
专知会员服务
63+阅读 · 2021年9月20日
最新《图神经网络实用指南》2020论文,28页pdf
专知会员服务
222+阅读 · 2020年10月17日
【2022新书】深度学习归一化技术,117页pdf
专知
29+阅读 · 2022年11月25日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
明早10点大讲堂 | 训练深度脉冲神经网络
AI研习社
12+阅读 · 2019年1月24日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员