Physics-informed deep learning often faces optimization challenges due to the complexity of solving partial differential equations (PDEs), which involve exploring large solution spaces, require numerous iterations, and can lead to unstable training. These challenges arise particularly from the ill-conditioning of the optimization problem caused by the differential terms in the loss function. To address these issues, we propose learning a solver, i.e., solving PDEs using a physics-informed iterative algorithm trained on data. Our method learns to condition a gradient descent algorithm that automatically adapts to each PDE instance, significantly accelerating and stabilizing the optimization process and enabling faster convergence of physics-aware models. Furthermore, while traditional physics-informed methods solve for a single PDE instance, our approach extends to parametric PDEs. Specifically, we integrate the physical loss gradient with PDE parameters, allowing our method to solve over a distribution of PDE parameters, including coefficients, initial conditions, and boundary conditions. We demonstrate the effectiveness of our approach through empirical experiments on multiple datasets, comparing both training and test-time optimization performance. The code is available at https://github.com/2ailesB/neural-parametric-solver.


翻译:物理信息深度学习在求解偏微分方程(PDEs)时,常因求解空间庞大、迭代次数繁多及训练过程不稳定而面临优化挑战。这些挑战尤其源于损失函数中微分项导致的优化问题病态性。为解决这些问题,我们提出学习一个求解器,即利用基于数据训练的物理信息迭代算法来求解偏微分方程。我们的方法学习调节一个梯度下降算法,使其能自动适应每个偏微分方程实例,从而显著加速并稳定优化过程,实现物理感知模型的更快收敛。此外,传统物理信息方法仅针对单个偏微分方程实例求解,而我们的方法可扩展至参数化偏微分方程。具体而言,我们将物理损失梯度与偏微分方程参数(包括系数、初始条件和边界条件)相结合,使方法能够求解参数分布上的偏微分方程。我们通过在多个数据集上的实证实验,比较训练阶段和测试阶段的优化性能,验证了所提方法的有效性。代码发布于 https://github.com/2ailesB/neural-parametric-solver。

0
下载
关闭预览

相关内容

【CMU博士论文】用于物理模拟的高效深度学习模型
专知会员服务
30+阅读 · 2025年8月24日
【ETHZ博士论文】深度学习在科学计算中的应用,181页pdf
专知会员服务
57+阅读 · 2023年12月15日
基于神经网络的偏微分方程求解方法研究综述
专知会员服务
72+阅读 · 2022年12月7日
专知会员服务
140+阅读 · 2021年11月21日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
PyTorch实现多种深度强化学习算法
专知
36+阅读 · 2019年1月15日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员