Memristive devices present a promising foundation for next-generation information processing by combining memory and computation within a single physical substrate. This unique characteristic enables efficient, fast, and adaptive computing, particularly well suited for deep learning applications. Among recent developments, the memristive-friendly echo state network (MF-ESN) has emerged as a promising approach that combines memristive-inspired dynamics with the training simplicity of reservoir computing, where only the readout layer is learned. Building on this framework, we propose memristive-friendly parallelized reservoirs (MARS), a simplified yet more effective architecture that enables efficient scalable parallel computation and deeper model composition through novel subtractive skip connections. This design yields two key advantages: substantial training speedups of up to 21x over the inherently lightweight echo state network baseline and significantly improved predictive performance. Moreover, MARS demonstrates what is possible with parallel memristive-friendly reservoir computing: on several long sequence benchmarks our compact gradient-free models substantially outperform strong gradient-based sequence models such as LRU, S5, and Mamba, while reducing full training time from minutes or hours down seconds or even only a few hundred milliseconds. Our work positions parallel memristive-friendly computing as a promising route towards scalable neuromorphic learning systems that combine high predictive capability with radically improved computational efficiency, while providing a clear pathway to energy-efficient, low-latency implementations on emerging memristive and in-memory hardware.


翻译:忆阻器件通过将存储与计算集成于同一物理基底,为下一代信息处理奠定了有前景的基础。这一独特特性使其能够实现高效、快速、自适应的计算,特别适用于深度学习应用。在近期进展中,忆阻友好型回声状态网络通过结合忆阻启发的动力学与仅需训练读出层的储层计算简易性,已成为一种颇具前景的方法。基于此框架,我们提出忆阻友好型并行化储层——一种更简化且更高效的架构,通过新型减法跳跃连接实现高效可扩展的并行计算与深度模型组合。该设计带来两大关键优势:相对于本已轻量化的回声状态网络基准,训练速度提升高达21倍,同时显著提高预测性能。此外,MARS展示了并行忆阻友好型储层计算的潜力:在多个长序列基准测试中,我们的紧凑型无梯度模型大幅优于LRU、S5、Mamba等强梯度序列模型,并将完整训练时间从数分钟或数小时缩短至数秒甚至仅数百毫秒。本工作将并行忆阻友好型计算定位为迈向可扩展神经形态学习系统的有前景路径——此类系统兼具高预测能力与根本性提升的计算效率,同时为在新型忆阻与存内硬件上实现高能效、低延迟部署提供了清晰路线图。

0
下载
关闭预览

相关内容

基于深度学习的类别增量学习算法综述
专知会员服务
44+阅读 · 2023年8月10日
【博士论文】解耦合的类脑计算系统栈设计
专知会员服务
32+阅读 · 2020年12月14日
【ICLR2020-】基于记忆的图网络,MEMORY-BASED GRAPH NETWORKS
专知会员服务
110+阅读 · 2020年2月22日
《“边缘计算+”技术白皮书》,82页pdf
专知
11+阅读 · 2022年8月28日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
深度学习在推荐系统上的应用
架构文摘
13+阅读 · 2018年2月22日
【AAAI专题】论文分享:以生物可塑性为核心的类脑脉冲神经网络
中国科学院自动化研究所
15+阅读 · 2018年1月23日
新型阻变存储器的物理研究与产业化前景
中国物理学会期刊网
13+阅读 · 2017年11月1日
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
10+阅读 · 2017年6月8日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
0+阅读 · 13分钟前
Agentic RL:框架、实践与长程智能体训练
专知会员服务
0+阅读 · 15分钟前
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员