Time-series forecasting often operates under tight power and latency budgets in fields like traffic management, industrial condition monitoring, and on-device sensing. These applications frequently require near real-time responses and low energy consumption on edge devices. Spiking neural networks (SNNs) offer event-driven computation and ultra-low power by exploiting temporal sparsity and multiplication-free computation. Yet existing SNN-based time-series forecasters often inherit complex transformer blocks, thereby losing much of the efficiency benefit. To solve the problem, we propose SpikySpace, a spiking state-space model (SSM) that reduces the quadratic cost in the attention block to linear time via selective scanning. Further, we replace dense SSM updates with sparse spike trains and execute selective scans only on spike events, thereby avoiding dense multiplications while preserving the SSM's structured memory. Because complex operations such as exponentials and divisions are costly on neuromorphic chips, we introduce simplified approximations of SiLU and Softplus to enable a neuromorphic-friendly model architecture. In matched settings, SpikySpace reduces estimated energy consumption by 98.73% and 96.24% compared to two state-of-the-art transformer based approaches, namely iTransformer and iSpikformer, respectively. In standard time series forecasting datasets, SpikySpace delivers competitive accuracy while substantially reducing energy cost and memory traffic. As the first full spiking state-space model, SpikySpace bridges neuromorphic efficiency with modern sequence modeling, marking a practical and scalable path toward efficient time series forecasting systems.


翻译:时间序列预测在交通管理、工业状态监测和设备端传感等领域通常面临严格的功耗与延迟约束。这些应用往往需要在边缘设备上实现近实时响应与低能耗。脉冲神经网络通过利用时间稀疏性和无乘法运算,提供了事件驱动计算与超低功耗的优势。然而,现有的基于SNN的时间序列预测器常继承复杂的Transformer模块,从而丧失了大部分效率优势。为解决该问题,我们提出SpikySpace——一种脉冲状态空间模型,它通过选择性扫描将注意力模块的二次计算复杂度降至线性。进一步地,我们用稀疏脉冲序列替代稠密SSM更新,并仅在脉冲事件上执行选择性扫描,从而在保持SSM结构化记忆的同时避免稠密乘法运算。由于指数和除法等复杂操作在神经形态芯片上成本高昂,我们引入了SiLU和Softplus的简化近似,以实现神经形态友好的模型架构。在同等设置下,相较于两种最先进的基于Transformer的方法(即iTransformer和iSpikformer),SpikySpace分别降低了98.73%和96.24%的预估能耗。在标准时间序列预测数据集上,SpikySpace在保持竞争力的预测精度的同时,显著降低了能耗与内存访问量。作为首个完整的脉冲状态空间模型,SpikySpace将神经形态计算效率与现代序列建模相结合,为构建高效时间序列预测系统开辟了实用且可扩展的技术路径。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【AAAI2025】TimeDP:通过领域提示学习生成多领域时间序列
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员