Continual learning, the ability to acquire new tasks sequentially without forgetting prior knowledge, is essential for deploying neural networks in dynamic real-world environments, from nuclear digital twin monitoring to grid-edge fault detection. Existing synaptic importance methods, such as Elastic Weight Consolidation (EWC) and Synaptic Intelligence (SI), rely on gradient computation, making them incompatible with neuromorphic hardware that lacks backpropagation support. We propose ISI-CV, the first gradient-free synaptic importance metric for SNN continual learning, derived from the Coefficient of Variation (CV) of Inter-Spike Intervals (ISIs). Neurons that fire regularly (low CV) encode stable, task-relevant features and are protected from overwriting; neurons with irregular firing are permitted to adapt freely. ISI-CV requires only spike time counters and integer arithmetic, all of which are native to every neuromorphic chip. We evaluate on four benchmarks of increasing difficulty: Split-MNIST, Permuted-MNIST, Split-FashionMNIST, and Split-N-MNIST using real Dynamic Vision Sensor (DVS) event data. Across three seeds, ISI-CV achieves zero forgetting (AF = 0.000 +/- 0.000) on Split-MNIST and Split-FashionMNIST, near-zero forgetting on Permuted-MNIST (AF = 0.001 +/- 0.000), and the highest accuracy with the lowest forgetting on real neuromorphic DVS data (AA = 0.820 +/- 0.012, AF = 0.221 +/- 0.014). On N-MNIST, gradient-based methods produce unreliable importance estimates and perform worse than no regularization; ISI-CV avoids this failure by design.


翻译:持续学习——即在顺序学习新任务时不遗忘已有知识的能力——对于在动态真实环境中部署神经网络至关重要,应用场景涵盖核电站数字孪生监控到电网边缘故障检测。现有突触重要性方法(如弹性权重巩固EWC和突触智能SI)依赖梯度计算,这使得它们无法应用于缺乏反向传播支持的神经形态硬件。我们提出ISI-CV,这是首个基于脉冲间间隔变异系数的梯度无关脉冲神经网络持续学习突触重要性指标。规律发放脉冲的神经元(低CV值)编码稳定且任务相关的特征,受到保护免于重写;不规则发放的神经元则允许自由适应。ISI-CV仅需脉冲时间计数器和整数运算,这些均为所有神经形态芯片的原生功能。我们使用真实动态视觉传感器事件数据,在四个难度递增的基准测试(Split-MNIST、Permuted-MNIST、Split-FashionMNIST和Split-N-MNIST)上进行评估。在三种随机种子条件下,ISI-CV在Split-MNIST和Split-FashionMNIST上实现零遗忘(AF=0.000±0.000),在Permuted-MNIST上接近零遗忘(AF=0.001±0.000),并在真实神经形态DVS数据上达到最高准确率与最低遗忘率(AA=0.820±0.012,AF=0.221±0.014)。在N-MNIST上,基于梯度的方法产生不可靠的重要性估计且性能劣于无正则化方法;而ISI-CV通过设计避免了这一失效模式。

0
下载
关闭预览

相关内容

【CVPR2023】正则化二阶影响的持续学习
专知会员服务
19+阅读 · 2023年4月22日
【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
【Cell 2020】神经网络中的持续学习
专知会员服务
62+阅读 · 2020年11月7日
深度学习中的五大正则化方法和七大优化策略
全球人工智能
11+阅读 · 2017年12月25日
【回顾】深度学习系列之二:卷积神经网络
AI研习社
20+阅读 · 2017年12月1日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
9+阅读 · 6月15日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员