Neural networks have become a widely adopted tool for modeling nonlinear dynamical systems from data. However, the choice of training strategy remains a key design decision, particularly for simulation tasks. This paper compares two predominant strategies: parallel and series-parallel training. The conducted empirical analysis spans five neural network architectures and two examples: a pneumatic valve test bench and an industrial robot benchmark. The study reveals that, even though series-parallel training dominates current practice, parallel training consistently yields better long-term prediction accuracy. Additionally, this work clarifies the often inconsistent terminology in the literature and relate both strategies to concepts from system identification. The findings suggest that parallel training should be considered the default training strategy for neural network-based simulation of dynamical systems.


翻译:神经网络已成为从数据中建模非线性动力学系统的广泛采用工具。然而,训练策略的选择仍是一个关键设计决策,尤其在仿真任务中。本文比较了两种主要策略:并行训练与串并行训练。所进行的实证分析涵盖五种神经网络架构和两个示例:一个气动阀门测试台和一个工业机器人基准。研究表明,尽管串并行训练在当前实践中占主导地位,但并行训练始终能提供更好的长期预测精度。此外,本研究澄清了文献中常不一致的术语,并将两种策略与系统辨识中的概念联系起来。研究结果表明,对于基于神经网络的动力学系统仿真,并行训练应被视为默认训练策略。

0
下载
关闭预览

相关内容

【阿姆斯特丹博士论文】表示学习中的信息理论
专知会员服务
23+阅读 · 2025年7月18日
《计算流体力学中的机器学习最新进展》综述
专知会员服务
36+阅读 · 2024年8月24日
基于强化学习的扩散模型微调:教程与综述
专知会员服务
44+阅读 · 2024年7月20日
[ICML2024]消除偏差:微调基础模型以进行半监督学习
专知会员服务
18+阅读 · 2024年5月23日
【AAAI2024】使用大型语言模型的生成式多模态知识检索
专知会员服务
58+阅读 · 2024年1月19日
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
24+阅读 · 2022年10月8日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
神经网络的基础数学,95页pdf
专知
29+阅读 · 2022年1月23日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
深度学习超参数搜索实用指南
云栖社区
28+阅读 · 2018年10月14日
最全的DNN概述论文:详解前馈、卷积和循环神经网络技术
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
175+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
499+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
181+阅读 · 2023年3月24日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【阿姆斯特丹博士论文】表示学习中的信息理论
专知会员服务
23+阅读 · 2025年7月18日
《计算流体力学中的机器学习最新进展》综述
专知会员服务
36+阅读 · 2024年8月24日
基于强化学习的扩散模型微调:教程与综述
专知会员服务
44+阅读 · 2024年7月20日
[ICML2024]消除偏差:微调基础模型以进行半监督学习
专知会员服务
18+阅读 · 2024年5月23日
【AAAI2024】使用大型语言模型的生成式多模态知识检索
专知会员服务
58+阅读 · 2024年1月19日
【NeurIPS2022】分布式自适应元强化学习
专知会员服务
24+阅读 · 2022年10月8日
相关资讯
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
神经网络的基础数学,95页pdf
专知
29+阅读 · 2022年1月23日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
深度学习超参数搜索实用指南
云栖社区
28+阅读 · 2018年10月14日
最全的DNN概述论文:详解前馈、卷积和循环神经网络技术
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员