Neural networks have become a widely adopted tool for modeling nonlinear dynamical systems from data. However, the choice of training strategy remains a key design decision, particularly for simulation tasks. This paper compares two predominant strategies: parallel and series-parallel training. The conducted empirical analysis spans five neural network architectures and two examples: a pneumatic valve test bench and an industrial robot benchmark. The study reveals that, even though series-parallel training dominates current practice, parallel training consistently yields better long-term prediction accuracy. Additionally, this work clarifies the often inconsistent terminology in the literature and relate both strategies to concepts from system identification. The findings suggest that parallel training should be considered the default training strategy for neural network-based simulation of dynamical systems.


翻译:神经网络已成为从数据中建模非线性动力学系统的广泛采用工具。然而,训练策略的选择仍然是一个关键的设计决策,特别是在仿真任务中。本文比较了两种主流策略:并行训练与串行-并行训练。实证分析涵盖了五种神经网络架构和两个实例:气动阀门测试台与工业机器人基准。研究表明,尽管串行-并行训练在当前实践中占主导地位,但并行训练始终能获得更好的长期预测精度。此外,本文澄清了文献中常不一致的术语,并将两种策略与系统辨识中的概念联系起来。研究结果表明,在基于神经网络的动力学系统仿真中,应优先考虑将并行训练作为默认训练策略。

0
下载
关闭预览

相关内容

《科学机器学习中神经网络结构的比较》最新65页报告
专知会员服务
28+阅读 · 2024年3月5日
专知会员服务
74+阅读 · 2020年5月21日
ICML2020 图神经网络的预训练
图与推荐
12+阅读 · 2020年4月4日
2019年新书推荐-《神经网络与深度学习》-Michael Nielsen
深度学习与NLP
14+阅读 · 2019年2月21日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
【深度学习】深度学习的核心:掌握训练数据的方法
产业智能官
12+阅读 · 2018年1月14日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员