Spiking Neural Networks (SNNs) are dynamical systems that operate on spatiotemporal data, yet their learnable parameters are often limited to synaptic weights, contributing little to temporal pattern recognition. Learnable parameters that delay spike times can improve classification performance in temporal tasks, but existing methods rely on large networks and offline learning, making them unsuitable for real-time operation in resource-constrained environments. In this paper, we introduce synaptic and axonal delays to leaky integrate and fire (LIF)-based feedforward and recurrent SNNs, and propose three-factor learning rules to simultaneously learn delay parameters online. We employ a smooth Gaussian surrogate to approximate spike derivatives exclusively for the eligibility trace calculation, and together with a top-down error signal determine parameter updates. Our experiments show that incorporating delays improves accuracy by up to 20% over a weights-only baseline, and for networks with similar parameter counts, jointly learning weights and delays yields up to 14% higher accuracy. On the SHD speech recognition dataset, our method achieves similar accuracy to offline backpropagation-based approaches. Compared to state-of-the-art methods, it reduces model size by 6.6x and inference latency by 67%, with only a 2.4% drop in classification accuracy. Our findings benefit the design of power and area-constrained neuromorphic processors by enabling on-device learning and lowering memory requirements.


翻译:脉冲神经网络(SNNs)是处理时空数据的动态系统,但其可学习参数通常仅限于突触权重,这对时间模式识别的贡献有限。可学习的延迟脉冲时间的参数能够提升时序任务中的分类性能,但现有方法依赖于大型网络和离线学习,使其不适用于资源受限环境中的实时操作。本文在基于漏积分发放(LIF)的前馈和循环SNNs中引入了突触延迟与轴突延迟,并提出了三因素学习规则以在线同时学习延迟参数。我们采用平滑高斯替代函数来近似脉冲导数,该近似仅用于资格迹计算,并与自上而下的误差信号共同确定参数更新。实验表明,引入延迟参数相比仅学习权重的基线模型可将准确率提升高达20%;在参数量相近的网络中,联合学习权重和延迟可带来高达14%的准确率提升。在SHD语音识别数据集上,我们的方法达到了与基于离线反向传播的方法相近的准确率。与最先进的方法相比,我们的方法将模型大小减少了6.6倍,推理延迟降低了67%,而分类准确率仅下降2.4%。我们的研究通过支持设备端学习和降低内存需求,有助于功耗和面积受限的神经形态处理器的设计。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
专知会员服务
18+阅读 · 2020年10月18日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月7日
VIP会员
相关VIP内容
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
专知会员服务
18+阅读 · 2020年10月18日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员