Spiking neural networks (SNNs) has attracted much attention due to its great potential of modeling time-dependent signals. The firing rate of spiking neurons is decided by control rate which is fixed manually in advance, and thus, whether the firing rate is adequate for modeling actual time series relies on fortune. Though it is demanded to have an adaptive control rate, it is a non-trivial task because the control rate and the connection weights learned during the training process are usually entangled. In this paper, we show that the firing rate is related to the eigenvalue of the spike generation function. Inspired by this insight, by enabling the spike generation function to have adaptable eigenvalues rather than parametric control rates, we develop the Bifurcation Spiking Neural Network (BSNN), which has an adaptive firing rate and is insensitive to the setting of control rates. Experiments validate the effectiveness of BSNN on a broad range of tasks, showing that BSNN achieves superior performance to existing SNNs and is robust to the setting of control rates.


翻译:Spik 神经网络(SNNS)因其具有模拟时间性信号的巨大潜力而吸引了很大关注。 Spik 神经网络(SNNs)的发射率是由预先人工固定的控制率决定的,因此,发射率是否足以模拟实际时间序列取决于命运。尽管要求它有一个适应性控制率,但它是一项非三重性的任务,因为培训过程中学到的控制率和连接权重通常被缠绕在一起。在本文中,我们表明发射率与峰值生成功能的二元值有关。我们受这一洞察的启发,通过使峰值生成功能具有适应性超重的天值,而不是准度控制率,我们开发了具有适应性发射率且对控制率设定不敏感的双倍Spik Neural网络(BSNNN) 。实验证实BSNN在广泛任务上的有效性,表明BSNN达到比现有SNN的更高性能,并且与控制率的设定是稳健的。

0
下载
关闭预览

相关内容

【EMNLP2020】自然语言生成,Neural Language Generation
专知会员服务
39+阅读 · 2020年11月20日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
74+阅读 · 2020年8月2日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
【BAAI|2019】类脑神经网络技术及其应用,鲁华祥(附pdf)
专知会员服务
31+阅读 · 2019年11月21日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
直播 | 训练深度脉冲神经网络
AI科技评论
7+阅读 · 2019年1月24日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
Arxiv
0+阅读 · 2021年8月25日
Arxiv
7+阅读 · 2021年7月5日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
6+阅读 · 2019年4月8日
SepNE: Bringing Separability to Network Embedding
Arxiv
3+阅读 · 2019年2月26日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
8+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
3+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
2+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
2+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
10+阅读 · 6月24日
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关资讯
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
直播 | 训练深度脉冲神经网络
AI科技评论
7+阅读 · 2019年1月24日
人工智能 | 国际会议截稿信息9条
Call4Papers
4+阅读 · 2018年3月13日
神经网络学习率设置
机器学习研究会
4+阅读 · 2018年3月3日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
相关论文
Arxiv
0+阅读 · 2021年8月25日
Arxiv
7+阅读 · 2021年7月5日
Arxiv
3+阅读 · 2020年4月29日
Arxiv
6+阅读 · 2019年4月8日
SepNE: Bringing Separability to Network Embedding
Arxiv
3+阅读 · 2019年2月26日
Neural Speech Synthesis with Transformer Network
Arxiv
5+阅读 · 2019年1月30日
CoCoNet: A Collaborative Convolutional Network
Arxiv
6+阅读 · 2019年1月28日
Top
微信扫码咨询专知VIP会员