Unlike traditional artificial neural networks (ANNs), biological neuronal networks solve complex cognitive tasks with sparse neuronal activity, recurrent connections, and local learning rules. These mechanisms serve as design principles in Neuromorphic computing, which addresses the critical challenge of energy consumption in modern computing. However, most mixed-signal neuromorphic devices rely on semi- or unsupervised learning rules, which are ineffective for optimizing hardware in supervised learning tasks. This lack of scalable solutions for on-chip learning restricts the potential of mixed-signal devices to enable sustainable, intelligent edge systems. To address these challenges, we present a novel learning algorithm for Spiking Neural Networks (SNNs) on mixed-signal devices that integrates spike-based weight updates with feedback control signals. In our framework, a spiking controller generates feedback signals to guide SNN activity and drive weight updates, enabling scalable and local on-chip learning. We first evaluate the algorithm on various classification tasks, demonstrating that single-layer SNNs trained with feedback control achieve performance comparable to artificial neural networks (ANNs). We then assess its implementation on mixed-signal neuromorphic devices by testing network performance in continuous online learning scenarios and evaluating resilience to hyperparameter mismatches. Our results show that the feedback control optimizer is compatible with neuromorphic applications, advancing the potential for scalable, on-chip learning solutions in edge applications.


翻译:与传统人工神经网络(ANN)不同,生物神经元网络通过稀疏的神经元活动、循环连接和局部学习规则解决复杂认知任务。这些机制构成了神经形态计算的设计原则,旨在应对现代计算中能耗这一关键挑战。然而,大多数混合信号神经形态器件依赖于半监督或无监督学习规则,这些规则在监督学习任务中难以有效优化硬件。片上学习缺乏可扩展解决方案,限制了混合信号器件实现可持续智能边缘系统的潜力。为应对这些挑战,我们提出一种适用于混合信号器件的脉冲神经网络(SNN)新型学习算法,该算法将基于脉冲的权重更新与反馈控制信号相结合。在我们的框架中,脉冲控制器生成反馈信号以引导SNN活动并驱动权重更新,从而实现可扩展的局部片上学习。我们首先在多种分类任务上评估该算法,结果表明采用反馈控制训练的单层SNN性能可与人工神经网络(ANN)相媲美。随后通过测试网络在连续在线学习场景中的性能,并评估其对超参数失配的鲁棒性,进一步考察其在混合信号神经形态器件上的实现效果。实验证明该反馈控制优化器与神经形态应用兼容,推动了边缘应用中可扩展片上学习解决方案的发展潜力。

0
下载
关闭预览

相关内容

基于脉冲神经网络的边缘智能
专知会员服务
20+阅读 · 2025年7月23日
基于脉冲神经网络的机器人智能控制研究进展
专知会员服务
25+阅读 · 2024年9月15日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
《利用人工神经网络进行雷达信号处理》253页
专知会员服务
70+阅读 · 2024年3月15日
脉冲强化学习算法研究综述
专知会员服务
48+阅读 · 2023年10月6日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
脉冲神经网络与小样本学习【附PPT】
人工智能前沿讲习班
48+阅读 · 2019年2月1日
CCCF专栏 | 面向领域定制的神经网络结构设计
中国计算机学会
10+阅读 · 2018年12月17日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关资讯
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
脉冲神经网络与小样本学习【附PPT】
人工智能前沿讲习班
48+阅读 · 2019年2月1日
CCCF专栏 | 面向领域定制的神经网络结构设计
中国计算机学会
10+阅读 · 2018年12月17日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员