Telemetry streams from large-scale Internet-connected systems (e.g., IoT deployments and online platforms) naturally form an irregular multivariate time series (IMTS) whose accurate forecasting is operationally vital. A closer examination reveals a defining Sparsity-Event Duality (SED) property of IMTS, i.e., long stretches with sparse or no observations are punctuated by short, dense bursts where most semantic events (observations) occur. However, existing Graph- and Transformer-based forecasters ignore SED: pre-alignment to uniform grids with heavy padding violates sparsity by inflating sequences and forcing computation at non-informative steps, while relational recasting weakens event semantics by disrupting local temporal continuity. These limitations motivate a more faithful and natural modeling paradigm for IMTS that aligns with its SED property. We find that Spiking Neural Networks meet this requirement, as they communicate via sparse binary spikes and update in an event-driven manner, aligning naturally with the SED nature of IMTS. Therefore, we present SEDformer, an SED-enhanced Spiking Transformer for telemetry IMTS forecasting that couples: (1) a SED-based Spike Encoder converts raw observations into event synchronous spikes using an Event-Aligned LIF neuron, (2) an Event-Preserving Temporal Downsampling module compresses long gaps while retaining salient firings and (3) a stack of SED-based Spike Transformer blocks enable intra-series dependency modeling with a membrane-based linear attention driven by EA-LIF spiking features. Experiments on public telemetry IMTS datasets show that SEDformer attains state-of-the-art forecasting accuracy while reducing energy and memory usage, providing a natural and efficient path for modeling IMTS.


翻译:来自大规模互联网连接系统(如物联网部署和在线平台)的遥测流自然形成不规则多元时间序列,其准确预测对运营至关重要。深入分析发现IMTS具有一个定义性的稀疏-事件对偶性属性,即长时间稀疏或无观测的区间被短时密集的突发所打断,而大多数语义事件(观测)正发生于这些突发中。然而,现有的基于图和Transformer的预测方法忽视了SED特性:通过大量填充将数据预对齐到均匀网格会因序列膨胀和在非信息步长上强制计算而破坏稀疏性,而关系重构则因破坏局部时间连续性削弱了事件语义。这些局限性促使我们为IMTS寻找一种更忠实且自然的建模范式,以与其SED特性对齐。我们发现脉冲神经网络符合这一要求,因为它们通过稀疏的二进制脉冲进行通信并以事件驱动方式更新,天然与IMTS的SED特性相契合。因此,我们提出SEDformer,一种用于遥测IMTS预测的SED增强型脉冲Transformer,其耦合了以下组件:(1) 基于SED的脉冲编码器使用事件对齐LIF神经元将原始观测转换为事件同步脉冲,(2) 事件保持时间下采样模块在压缩长间隙的同时保留显著的脉冲发放,(3) 基于SED的脉冲Transformer块堆栈通过基于膜电位的线性注意力机制(由EA-LIF脉冲特征驱动)实现序列内依赖建模。在公开遥测IMTS数据集上的实验表明,SEDformer在降低能耗和内存使用的同时实现了最先进的预测精度,为IMTS建模提供了一条自然且高效的路径。

0
下载
关闭预览

相关内容

【ICML2025】用于概率时间序列预测的非平稳扩散方法
专知会员服务
10+阅读 · 2025年5月10日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
28+阅读 · 2025年3月14日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
专知会员服务
237+阅读 · 2020年12月15日
你真的懂时间序列预测吗?
腾讯大讲堂
104+阅读 · 2019年1月7日
利用动态深度学习预测金融时间序列基于Python
量化投资与机器学习
18+阅读 · 2018年10月30日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员