Telemetry streams from large-scale Internet-connected systems (e.g., IoT deployments and online platforms) naturally form an irregular multivariate time series (IMTS) whose accurate forecasting is operationally vital. A closer examination reveals a defining Sparsity-Event Duality (SED) property of IMTS, i.e., long stretches with sparse or no observations are punctuated by short, dense bursts where most semantic events (observations) occur. However, existing Graph- and Transformer-based forecasters ignore SED: pre-alignment to uniform grids with heavy padding violates sparsity by inflating sequences and forcing computation at non-informative steps, while relational recasting weakens event semantics by disrupting local temporal continuity. These limitations motivate a more faithful and natural modeling paradigm for IMTS that aligns with its SED property. We find that Spiking Neural Networks meet this requirement, as they communicate via sparse binary spikes and update in an event-driven manner, aligning naturally with the SED nature of IMTS. Therefore, we present SEDformer, an SED-enhanced Spiking Transformer for telemetry IMTS forecasting that couples: (1) a SED-based Spike Encoder converts raw observations into event synchronous spikes using an Event-Aligned LIF neuron, (2) an Event-Preserving Temporal Downsampling module compresses long gaps while retaining salient firings and (3) a stack of SED-based Spike Transformer blocks enable intra-series dependency modeling with a membrane-based linear attention driven by EA-LIF spiking features. Experiments on public telemetry IMTS datasets show that SEDformer attains state-of-the-art forecasting accuracy while reducing energy and memory usage, providing a natural and efficient path for modeling IMTS.


翻译:大规模互联网连接系统(如物联网部署和在线平台)的遥测流自然形成不规则多元时间序列(IMTS),其精确预测对运维至关重要。深入分析发现IMTS具有一个定义性的稀疏-事件二象性(SED)特性:即长时间稀疏或无观测的区间被短暂密集的爆发所打断,而大多数语义事件(观测)正发生于这些爆发时段。然而,现有的基于图神经网络和Transformer的预测方法均忽略了SED特性:通过大量填充将数据预对齐到均匀网格会因序列膨胀和在非信息步骤强制计算而破坏稀疏性,而关系重构则会破坏局部时间连续性从而削弱事件语义。这些局限促使我们需要为IMTS建立一种更忠实、更自然的建模范式,以契合其SED特性。我们发现脉冲神经网络符合这一要求,因为它们通过稀疏的二进制脉冲进行通信并以事件驱动方式更新,天然与IMTS的SED特性相吻合。为此,我们提出SEDformer,一种用于遥测IMTS预测的SED增强型脉冲Transformer,其耦合了三个核心组件:(1)基于SED的脉冲编码器,利用事件对齐LIF神经元将原始观测转换为事件同步脉冲;(2)事件保持型时间下采样模块,在压缩长间隙的同时保留显著的脉冲发放;(3)堆叠的基于SED的脉冲Transformer模块,通过由EA-LIF脉冲特征驱动的基于膜电位的线性注意力机制实现序列内依赖关系建模。在公开的遥测IMTS数据集上的实验表明,SEDformer在降低能耗和内存占用的同时,达到了最先进的预测精度,为IMTS建模提供了一条自然且高效的路径。

0
下载
关闭预览

相关内容

【ICML2025】用于概率时间序列预测的非平稳扩散方法
专知会员服务
10+阅读 · 2025年5月10日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
28+阅读 · 2025年3月14日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
【KDD2020】动态知识图谱的多事件预测
专知
88+阅读 · 2020年8月31日
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
利用动态深度学习预测金融时间序列基于Python
量化投资与机器学习
18+阅读 · 2018年10月30日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员