Training transmission delays in spiking neural networks (SNNs) has been shown to substantially improve their performance on complex temporal tasks. In this work, we show that learning either axonal or dendritic delays enables deep feedforward SNNs composed of leaky integrate-and-fire (LIF) neurons to reach accuracy comparable to existing synaptic delay learning approaches, while significantly reducing memory and computational overhead. SNN models with either axonal or dendritic delays achieve up to $95.58\%$ on the Google Speech Command (GSC) and $80.97\%$ on the Spiking Speech Command (SSC) datasets, matching or exceeding prior methods based on synaptic delays or more complex neuron models. By adjusting the delay parameters, we obtain improved performance for synaptic delay learning baselines, strengthening the comparison. We find that axonal delays offer the most favorable trade-off, combining lower buffering requirements with slightly higher accuracy than dendritic delays. We further show that the performance of axonal and dendritic delay models is largely preserved under strong delay sparsity, with as few as $20\%$ of delays remaining active, further reducing buffering requirements. Overall, our results indicate that learnable axonal and dendritic delays provide a resource-efficient and effective mechanism for temporal representation in SNNs. Code will be made available publicly upon acceptance. Code is available at https://github.com/YounesBouhadjar/AxDenSynDelaySNN


翻译:在脉冲神经网络中训练传输延迟已被证明能显著提升其在复杂时序任务上的性能。本研究表明,学习轴突或树突延迟可使由泄漏积分发放神经元构成的前馈脉冲神经网络达到与现有突触延迟学习方法相当的准确率,同时显著降低内存与计算开销。采用轴突或树突延迟的脉冲神经网络模型在Google语音命令数据集上达到$95.58\%$的准确率,在脉冲语音命令数据集上达到$80.97\%$的准确率,匹配或超越了基于突触延迟或更复杂神经元模型的现有方法。通过调整延迟参数,我们改进了突触延迟学习基线的性能,从而强化了对比分析。研究发现,轴突延迟具有最理想的权衡特性,其缓冲需求低于树突延迟且准确率略高。我们进一步证明,在强延迟稀疏性条件下(仅保留$20\%$的活跃延迟),轴突与树突延迟模型的性能基本保持不变,这进一步降低了缓冲需求。总体而言,我们的结果表明可学习的轴突与树突延迟为脉冲神经网络提供了一种资源高效且有效的时序表征机制。代码将在论文录用后公开,当前可通过https://github.com/YounesBouhadjar/AxDenSynDelaySNN获取。

0
下载
关闭预览

相关内容

脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
专知会员服务
63+阅读 · 2021年9月20日
专知会员服务
23+阅读 · 2021年7月15日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
专知会员服务
63+阅读 · 2021年9月20日
专知会员服务
23+阅读 · 2021年7月15日
相关资讯
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员