Recurrent Neural Networks (RNNs) have shown remarkable performances in system identification, particularly in nonlinear dynamical systems such as thermal processes. However, stability remains a critical challenge in practical applications: although the underlying process may be intrinsically stable, there may be no guarantee that the resulting RNN model captures this behavior. This paper addresses the stability issue by deriving a sufficient condition for Input-to-State Stability based on the infinity-norm (ISS$_{\infty}$) for Long Short-Term Memory (LSTM) networks. The obtained condition depends on fewer network parameters compared to prior works. A ISS$_{\infty}$-promoted training strategy is developed, incorporating a penalty term in the loss function that encourages stability and an ad hoc early stopping approach. The quality of LSTM models trained via the proposed approach is validated on a thermal system case study, where the ISS$_{\infty}$-promoted LSTM outperforms both a physics-based model and an ISS$_{\infty}$-promoted Gated Recurrent Unit (GRU) network while also surpassing non-ISS$_{\infty}$-promoted LSTM and GRU RNNs.


翻译:循环神经网络(RNNs)在系统辨识,特别是热过程等非线性动态系统中表现出卓越的性能。然而,稳定性在实际应用中仍是一个关键挑战:尽管底层过程本身可能是稳定的,但无法保证所得到的RNN模型能够捕捉到这种行为。本文通过推导长短期记忆(LSTM)网络基于无穷范数的输入-状态稳定性(ISS$_{\infty}$)的充分条件来解决稳定性问题。与先前工作相比,所得条件依赖于更少的网络参数。本文开发了一种ISS$_{\infty}$促进的训练策略,该策略在损失函数中加入鼓励稳定性的惩罚项,并采用一种特设的早停方法。通过所提方法训练的LSTM模型的质量在一个热系统案例研究中得到验证,其中ISS$_{\infty}$促进的LSTM在性能上优于基于物理的模型和ISS$_{\infty}$促进的门控循环单元(GRU)网络,同时也超越了非ISS$_{\infty}$促进的LSTM和GRU RNNs。

0
下载
关闭预览

相关内容

作为2006年开始的年度会议系列,ACM ISS(以前称为ACM ITS,互动桌面和表面国际会议)是研究新的和新兴的桌面、数字表面、互动空间和多表面技术的设计、开发和使用的首要场所。官网链接:https://iss.acm.org/
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员