Working memory enables the brain to integrate transient information for rapid decision-making. Artificial networks typically replicate this via recurrent or parallel architectures, yet incur high energy costs and noise sensitivity. Here we report IPNet, a hardware-software co-designed neuromorphic architecture realizing human-like working memory via neuronal intrinsic plasticity. Exploiting Joule-heating dynamics of Magnetic Tunnel Junctions (MTJs), IPNet physically emulates biological memory volatility. The memory behavior of the proposed architecture shows similar trends in n-back, free recall and memory interference tasks to that of reported human subjects. Implemented exclusively with MTJ neurons, the architecture with human-like working memory achieves 99.65% accuracy on 11-class DVS gesture datasets and maintains 99.48% on a novel 22-class time-reversed benchmark, outperforming RNN, LSTM, and 2+1D CNN baselines sharing identical backbones. For autonomous driving (DDD-20), IPNet reduces steering prediction error by 14.4% compared to ResNet-LSTM. Architecturally, we identify a 'Memory-at-the-Frontier' effect where performance is maximized at the sensing interface, validating a bio-plausible near-sensor processing paradigm. Crucially, all results rely on raw parameters from fabricated devices without optimization. Hardware-in-the-loop validation confirms the system's physical realizability. Separately, energy analysis reveals a reduction in memory power of 2,874x compared to LSTMs and 90,920x versus parallel 3D-CNNs. This capacitor-free design enables a compact ~1.5um2 footprint (28 nm CMOS): a >20-fold reduction over standard LIF neurons. Ultimately, we demonstrate that instantiating human-like working memory via intrinsic neuronal plasticity endows neural networks with the dual biological advantages of superior dynamic vision processing and minimal metabolic cost.


翻译:工作记忆使大脑能够整合瞬时信息以进行快速决策。人工网络通常通过循环或并行架构来复现这一功能,但会带来高能耗和噪声敏感性问题。本文报道了IPNet——一种通过神经元内在可塑性实现类人工作记忆的软硬件协同设计神经形态架构。该架构利用磁性隧道结(MTJ)的焦耳热动力学特性,在物理层面模拟了生物记忆的易失性。所提出架构在n-back、自由回忆和记忆干扰任务中表现出的记忆行为趋势,与已报道的人类被试数据相似。该架构完全采用MTJ神经元实现,在11类DVS手势数据集上达到99.65%的准确率,并在新颖的22类时间反转基准测试中保持99.48%的准确率,优于具有相同骨干网络的RNN、LSTM和2+1D CNN基线模型。在自动驾驶任务(DDD-20)中,IPNet相较于ResNet-LSTM将转向预测误差降低了14.4%。在架构层面,我们发现了“前沿记忆”效应——在传感界面处性能达到最优,这验证了生物合理的近传感器处理范式。关键的是,所有结果均基于制造器件的原始参数,未经过优化。硬件在环验证证实了该系统的物理可实现性。能量分析显示,其记忆功耗相比LSTM降低2,874倍,相比并行3D-CNN降低90,920倍。这种无电容器设计实现了约1.5μm²(28 nm CMOS)的紧凑面积:比标准LIF神经元缩小超过20倍。最终,我们证明通过神经元内在可塑性实现类人工作记忆,赋予神经网络双重生物学优势:卓越的动态视觉处理能力和极低的代谢成本。

0
下载
关闭预览

相关内容

专知会员服务
42+阅读 · 2021年6月2日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
110+阅读 · 2020年2月22日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
【学生论坛】详解记忆增强神经网络
中国科学院自动化研究所
106+阅读 · 2018年11月15日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
人工神经网络是否模拟了人类大脑?
数说工作室
10+阅读 · 2017年7月19日
人工神经网络
平均机器
15+阅读 · 2017年7月17日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月13日
VIP会员
相关VIP内容
专知会员服务
42+阅读 · 2021年6月2日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
110+阅读 · 2020年2月22日
相关资讯
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
【学生论坛】详解记忆增强神经网络
中国科学院自动化研究所
106+阅读 · 2018年11月15日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
人工神经网络是否模拟了人类大脑?
数说工作室
10+阅读 · 2017年7月19日
人工神经网络
平均机器
15+阅读 · 2017年7月17日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员