The Extended Long Short-Term Memory (xLSTM) network has demonstrated strong capability in modeling complex long-term dependencies in time series data. Despite its success, the deterministic architecture of xLSTM limits its representational capacity and forecasting performance, especially on challenging real-world time series datasets characterized by inherent uncertainty, stochasticity, and complex hierarchical latent dynamics. In this work, we propose StoxLSTM, a stochastic xLSTM within a designed state space modeling framework, which integrates latent stochastic variables directly into the recurrent units to effectively model deep latent temporal dynamics and uncertainty. The designed state space model follows an efficient non-autoregressive generative approach, achieving strong predictive performance without complex modifications to the original xLSTM architecture. Extensive experiments on publicly available benchmark datasets demonstrate that StoxLSTM consistently outperforms state-of-the-art baselines, achieving superior performance and generalization.


翻译:扩展长短期记忆(xLSTM)网络在建模时间序列数据中复杂的长期依赖性方面已展现出强大能力。尽管取得了成功,但xLSTM的确定性架构限制了其表示能力和预测性能,尤其是在具有固有不确定性、随机性和复杂层次化潜在动态特性的挑战性现实世界时间序列数据集上。本工作中,我们提出了StoxLSTM,这是一种在设计的状态空间建模框架内的随机xLSTM,它将潜在随机变量直接集成到循环单元中,以有效建模深层潜在时间动态和不确定性。所设计的状态空间模型遵循一种高效的非自回归生成方法,无需对原始xLSTM架构进行复杂修改即可实现强大的预测性能。在公开可用的基准数据集上进行的大量实验表明,StoxLSTM始终优于最先进的基线模型,实现了卓越的性能和泛化能力。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
时间序列和时空数据扩散模型综述
专知会员服务
64+阅读 · 2024年5月1日
专知会员服务
16+阅读 · 2021年6月4日
【ICML2020-华为港科大】RNN和LSTM有长期记忆吗?
专知会员服务
78+阅读 · 2020年6月25日
基于LSTM深层神经网络的时间序列预测
论智
22+阅读 · 2018年9月4日
一文详解LSTM网络
论智
18+阅读 · 2018年5月2日
长文 | LSTM和循环神经网络基础教程(PDF下载)
机器学习算法与Python学习
14+阅读 · 2018年2月28日
阿里流行音乐趋势预测-深度学习LSTM网络实现代码分享
机器学习研究会
11+阅读 · 2017年12月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员