Long short-term memory (LSTM) models are a particular type of recurrent neural networks (RNNs) that are central to sequential modeling tasks in domains such as urban telecommunication forecasting, where temporal correlations and nonlinear dependencies dominate. However, conventional LSTMs suffer from high parameter redundancy and limited nonlinear expressivity. In this work, we propose the Quantum-inspired Kolmogorov-Arnold Long Short-Term Memory (QKAN-LSTM), which integrates Data Re-Uploading Activation (DARUAN) modules into the gating structure of LSTMs. Each DARUAN acts as a quantum variational activation function (QVAF), enhancing frequency adaptability and enabling an exponentially enriched spectral representation without multi-qubit entanglement. The resulting architecture preserves quantum-level expressivity while remaining fully executable on classical hardware. Empirical evaluations on three datasets, Damped Simple Harmonic Motion, Bessel Function, and Urban Telecommunication, demonstrate that QKAN-LSTM achieves superior predictive accuracy and generalization with a 79% reduction in trainable parameters compared to classical LSTMs. We extend the framework to the Jiang-Huang-Chen-Goan Network (JHCG Net), which generalizes KAN to encoder-decoder structures, and then further use QKAN to realize the latent KAN, thereby creating a Hybrid QKAN (HQKAN) for hierarchical representation learning. The proposed HQKAN-LSTM thus provides a scalable and interpretable pathway toward quantum-inspired sequential modeling in real-world data environments.


翻译:长短期记忆(LSTM)模型是循环神经网络(RNNs)的一种特殊类型,在城市电信预测等时序建模任务中至关重要,这些任务中时间相关性和非线性依赖占主导地位。然而,传统LSTM存在参数冗余度高和非线性表达能力有限的问题。本研究提出量子启发的Kolmogorov-Arnold长短期记忆网络(QKAN-LSTM),将数据重上传激活(DARUAN)模块集成到LSTM的门控结构中。每个DARUAN作为量子变分激活函数(QVAF),增强了频率适应性,并实现了指数级丰富的频谱表示,而无需多量子比特纠缠。该架构在保持量子级表达能力的同时,完全可在经典硬件上执行。在阻尼简谐运动、贝塞尔函数和城市电信三个数据集上的实证评估表明,与经典LSTM相比,QKAN-LSTM以可训练参数减少79%的代价,实现了更优的预测精度和泛化能力。我们将该框架扩展至Jiang-Huang-Chen-Goan网络(JHCG Net),将KAN推广至编码器-解码器结构,并进一步使用QKAN实现潜在KAN,从而构建用于分层表示学习的混合QKAN(HQKAN)。所提出的HQKAN-LSTM为现实世界数据环境中的量子启发时序建模提供了一条可扩展且可解释的路径。

0
下载
关闭预览

相关内容

长短期记忆网络(LSTM)是一种用于深度学习领域的人工回归神经网络(RNN)结构。与标准的前馈神经网络不同,LSTM具有反馈连接。它不仅可以处理单个数据点(如图像),还可以处理整个数据序列(如语音或视频)。例如,LSTM适用于未分段、连接的手写识别、语音识别、网络流量或IDSs(入侵检测系统)中的异常检测等任务。
AAAI 2022 | ProtGNN:自解释图神经网络
专知会员服务
40+阅读 · 2022年2月28日
专知会员服务
23+阅读 · 2021年6月22日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2025年12月29日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员