This study proposes a novel learning paradigm for spiking neural networks (SNNs) that replaces the perceptron-inspired abstraction with biologically grounded neuron models, jointly optimizing synaptic weights and intrinsic neuronal parameters. We evaluate two architectures, leaky integrate-and-fire (LIF) and a meta-neuron model, under fixed and learnable intrinsic dynamics. Additionally, we introduce a biologically inspired classification framework that combines SNN dynamics with Lempel-Ziv complexity (LZC), enabling efficient and interpretable classification of spatiotemporal spike data. Training is conducted using surrogate-gradient backpropagation, spike-timing-dependent plasticity (STDP), and the Tempotron rule on spike trains generated from Poisson processes, widely adopted in computational neuroscience as a standard stochastic model of neuronal spike generation due to their analytical tractability and empirical relevance. Learning intrinsic parameters improves classification accuracy by up to 13.50 percentage points for LIF networks and 8.50 for meta-neuron models compared to baselines tuning only network size and learning rate. The proposed SNN-LZC classifier achieves up to 99.50% accuracy with sub-millisecond inference latency and competitive energy consumption. We further provide theoretical justification by formalizing how optimizing intrinsic dynamics enlarges the hypothesis class and proving descent guarantees for intrinsic-parameter updates under standard smoothness assumptions, linking intrinsic optimization to provable improvements in the surrogate objective.


翻译:本研究提出一种新颖的脉冲神经网络学习范式,采用基于生物机制的神经元模型替代受感知机启发的抽象模型,联合优化突触权重与神经元内在参数。我们在固定与可学习内在动力学两种条件下,评估了泄露积分发放模型与元神经元模型两种架构。此外,我们引入一种受生物启发的分类框架,将脉冲神经网络动力学与Lempel-Ziv复杂度相结合,实现对时空脉冲数据的高效可解释分类。训练采用替代梯度反向传播、脉冲时间依赖可塑性及Tempotron规则,在泊松过程生成的脉冲序列上进行——该生成模型因其解析易处理性与经验相关性,被计算神经科学领域广泛采纳为神经元脉冲生成的标准随机模型。相较于仅调整网络规模与学习率的基线模型,学习内在参数使LIF网络的分类准确率最高提升13.50个百分点,元神经元模型提升8.50个百分点。所提出的SNN-LZC分类器在亚毫秒级推理延迟与具有竞争力的能耗条件下,最高达到99.50%的准确率。我们通过形式化分析内在动力学优化如何扩展假设空间,并在标准平滑性假设下证明内在参数更新的下降保证,从理论上论证了内在参数优化与替代目标函数可证明改进之间的内在关联。

0
下载
关闭预览

相关内容

【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
使用深度学习进行生物网络分析
专知会员服务
20+阅读 · 2022年6月30日
专知会员服务
63+阅读 · 2021年9月20日
专知会员服务
97+阅读 · 2021年5月25日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 3月1日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
7+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
16+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
美海警海上态势感知无人系统
专知会员服务
6+阅读 · 4月28日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员