The primal approach to physics-informed learning is a residual minimization. We argue that residual is, at best, an indirect measure of the error of approximate solution and propose to train with error majorant instead. Since error majorant provides a direct upper bound on error, one can reliably estimate how close PiNN is to the exact solution and stop the optimization process when the desired accuracy is reached. We call loss function associated with error majorant \textbf{Astral}: neur\textbf{A}l a po\textbf{ST}erio\textbf{R}i function\textbf{A}l \textbf{L}oss. To compare Astral and residual loss functions, we illustrate how error majorants can be derived for various PDEs and conduct experiments with diffusion equations (including anisotropic and in the L-shaped domain), convection-diffusion equation, temporal discretization of Maxwell's equation, magnetostatics and nonlinear elastoplasticity problems. The results indicate that Astral loss is competitive to the residual loss, typically leading to faster convergence and lower error. The main benefit of using Astral loss comes from its ability to estimate error, which is impossible with other loss functions. Our experiments indicate that the error estimate obtained with Astral loss is usually tight enough, e.g., for a highly anisotropic equation, on average, Astral overestimates error by a factor of $1.5$, and for convection-diffusion by a factor of $1.7$. We further demonstrate that Astral loss is better correlated with error than residual and is a more reliable predictor of the error value. Moreover, unlike residual, the error indicator obtained from Astral loss has a superb spatial correlation with error. Backed with the empirical and theoretical results, we argue that one can productively use Astral loss to perform reliable error analysis and approximate PDE solutions with accuracy similar to standard residual-based techniques.


翻译:物理信息学习的基本方法是残差最小化。我们认为残差充其量只是近似解误差的间接度量,因此提出改用误差主项进行训练。由于误差主项直接提供误差的上界,可以可靠地估计物理信息神经网络(PiNN)与精确解的接近程度,并在达到所需精度时停止优化过程。我们将与误差主项相关的损失函数称为 \textbf{Astral}:神经后验泛函损失。为比较 Astral 与残差损失函数,我们阐述了如何为各类偏微分方程推导误差主项,并针对扩散方程(包括各向异性情形与L形区域)、对流-扩散方程、麦克斯韦方程的时间离散、静磁学及非线性弹塑性问题开展实验。结果表明 Astral 损失函数与残差损失函数性能相当,通常能实现更快的收敛速度和更低的误差。Astral 损失函数的主要优势在于其误差估计能力——这是其他损失函数无法实现的。实验表明 Astral 损失函数获得的误差估计通常足够紧致,例如对于高度各向异性方程,Astral 平均将误差高估 $1.5$ 倍;对于对流-扩散方程则高估 $1.7$ 倍。我们进一步证明 Astral 损失函数与误差的相关性优于残差损失,是更可靠的误差值预测指标。此外,与残差不同,从 Astral 损失函数获得的误差指示器与误差具有极佳的空间相关性。基于实证与理论结果,我们认为可以有效地利用 Astral 损失函数进行可靠的误差分析,并以与标准残差方法相当的精度近似求解偏微分方程。

0
下载
关闭预览

相关内容

《科学机器学习中神经网络结构的比较》最新65页报告
专知会员服务
28+阅读 · 2024年3月5日
【ETHZ博士论文】深度学习在科学计算中的应用,181页pdf
专知会员服务
57+阅读 · 2023年12月15日
专知会员服务
140+阅读 · 2021年11月21日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
深度神经网络模型训练中的最新tricks总结【原理与代码汇总】
人工智能前沿讲习班
172+阅读 · 2019年3月6日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
19+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员