Recurrent Neural Networks (RNNs) have shown remarkable performances in system identification, particularly in nonlinear dynamical systems such as thermal processes. However, stability remains a critical challenge in practical applications: although the underlying process may be intrinsically stable, there may be no guarantee that the resulting RNN model captures this behavior. This paper addresses the stability issue by deriving a sufficient condition for Input-to-State Stability based on the infinity-norm (ISS$_{\infty}$) for Long Short-Term Memory (LSTM) networks. The obtained condition depends on fewer network parameters compared to prior works. A ISS$_{\infty}$-promoted training strategy is developed, incorporating a penalty term in the loss function that encourages stability and an ad hoc early stopping approach. The quality of LSTM models trained via the proposed approach is validated on a thermal system case study, where the ISS$_{\infty}$-promoted LSTM outperforms both a physics-based model and an ISS$_{\infty}$-promoted Gated Recurrent Unit (GRU) network while also surpassing non-ISS$_{\infty}$-promoted LSTM and GRU RNNs.


翻译:循环神经网络(RNN)在系统辨识中展现出卓越性能,尤其在热工过程等非线性动力系统中。然而,实际应用中的稳定性仍是关键挑战:尽管底层过程可能本质稳定,但无法保证所构建的RNN模型能够捕捉这一特性。本文通过推导基于无穷范数的长短期记忆(LSTM)网络输入到状态稳定性(ISS$_{\infty}$)的充分条件来解决稳定性问题。与先前研究相比,所获条件依赖的网络参数更少。我们提出了一种ISS$_{\infty}$增强训练策略,在损失函数中引入促进稳定性的惩罚项,并采用专用早停方法。通过热系统案例研究验证了所提方法训练的LSTM模型质量,ISS$_{\infty}$增强型LSTM不仅优于物理模型和ISS$_{\infty}$增强型门控循环单元(GRU)网络,同时超越了非ISS$_{\infty}$增强型LSTM和GRU RNN。

0
下载
关闭预览

相关内容

长短期记忆网络(LSTM)是一种用于深度学习领域的人工回归神经网络(RNN)结构。与标准的前馈神经网络不同,LSTM具有反馈连接。它不仅可以处理单个数据点(如图像),还可以处理整个数据序列(如语音或视频)。例如,LSTM适用于未分段、连接的手写识别、语音识别、网络流量或IDSs(入侵检测系统)中的异常检测等任务。
神经网络的基础数学
专知会员服务
208+阅读 · 2022年1月23日
类脑超大规模深度神经网络系统
专知会员服务
60+阅读 · 2022年1月21日
【ICML2020-华为港科大】RNN和LSTM有长期记忆吗?
专知会员服务
78+阅读 · 2020年6月25日
【MIT深度学习课程】深度序列建模,Deep Sequence Modeling
专知会员服务
78+阅读 · 2020年2月3日
神经网络的基础数学,95页pdf
专知
29+阅读 · 2022年1月23日
干货 | 循环神经网络(RNN)和LSTM初学者指南
THU数据派
15+阅读 · 2019年1月25日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
深度学习循环神经网络详解
七月在线实验室
16+阅读 · 2018年5月28日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关资讯
神经网络的基础数学,95页pdf
专知
29+阅读 · 2022年1月23日
干货 | 循环神经网络(RNN)和LSTM初学者指南
THU数据派
15+阅读 · 2019年1月25日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
深度学习循环神经网络详解
七月在线实验室
16+阅读 · 2018年5月28日
【深度学习基础】4. Recurrent Neural Networks
微信AI
16+阅读 · 2017年7月19日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员