Modeling stiff partial differential equations (PDEs) with sharp gradients remains a significant challenge for scientific machine learning. While Physics-Informed Neural Networks (PINNs) struggle with spectral bias and slow training times, Physics-Informed Extreme Learning Machines (PIELMs) offer a rapid, closed-form linear solution but are fundamentally limited by physics-agnostic, random initialization. We introduce the Gaussian Mixture Model Adaptive PIELM (GMM-PIELM), a probabilistic framework that learns a probability density function representing the ``location of physics'' for adaptively sampling kernels of PIELMs. By employing a weighted Expectation-Maximization (EM) algorithm, GMM-PIELM autonomously concentrates radial basis function centers in regions of high numerical error, such as shock fronts and boundary layers. This approach dynamically improves the conditioning of the hidden layer without the expensive gradient-based optimization(of PINNs) or Bayesian search. We evaluate our methodology on 1D singularly perturbed convection-diffusion equations with diffusion coefficients $ν=10^{-4}$. Our method achieves $L_2$ errors up to $7$ orders of magnitude lower than baseline RBF-PIELMs, successfully resolving exponentially thin boundary layers while retaining the orders-of-magnitude speed advantage of the ELM architecture.


翻译:对具有陡峭梯度的刚性偏微分方程进行建模,仍然是科学机器学习领域的一项重大挑战。尽管物理信息神经网络因频谱偏差和训练速度缓慢而面临困难,物理信息极限学习机提供了快速、封闭形式的线性解,但其本质上受限于与物理无关的随机初始化。我们提出了高斯混合模型自适应物理信息极限学习机,这是一个概率框架,通过学习表示“物理位置”的概率密度函数,自适应地采样物理信息极限学习机的核函数。通过采用加权期望最大化算法,高斯混合模型自适应物理信息极限学习机能够自主地将径向基函数中心集中在高数值误差区域,例如激波前沿和边界层。该方法动态改善了隐藏层的条件数,而无需进行基于梯度的昂贵优化或贝叶斯搜索。我们在扩散系数 $ν=10^{-4}$ 的一维奇异摄动对流-扩散方程上评估了我们的方法。我们的方法实现了比基线径向基函数物理信息极限学习机低多达 $7$ 个数量级的 $L_2$ 误差,成功解析了指数级薄的边界层,同时保持了极限学习机架构在速度上的数量级优势。

0
下载
关闭预览

相关内容

基于神经网络的偏微分方程求解方法研究综述
专知会员服务
72+阅读 · 2022年12月7日
【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
59+阅读 · 2019年11月10日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
用模型不确定性理解模型
论智
11+阅读 · 2018年9月5日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员