Partial differential equations (PDEs) are a central tool for modeling the dynamics of physical, engineering, and materials systems, but high-fidelity simulations are often computationally expensive. At the same time, many scientific applications can be viewed as the evolution of spatially distributed fields, making data-driven forecasting of such fields a core task in scientific machine learning. In this work we study autoregressive deep-learning surrogates for two-dimensional PDE dynamics on periodic domains, focusing on generalization to out-of-distribution initial conditions within a fixed PDE and parameter regime and on strict small-data settings with at most $\mathcal{O}(10^2)$ simulated trajectories per system. We introduce a multi-channel U-Net [...], evaluate it on five qualitatively different PDE families and compare it to ViT, AFNO, PDE-Transformer, and KAN-UNet under a common training setup. Across all datasets, me-UNet matches or outperforms these more complex architectures in terms of field-space error, spectral similarity, and physics-based metrics for in-distribution rollouts, while requiring substantially less training time. It also generalizes qualitatively to unseen initial conditions with as few as $\approx 20$ training simulations. A data-efficiency study and Grad-CAM analysis further suggest that, in small-data periodic 2D PDE settings, convolutional architectures with inductive biases aligned to locality and periodic boundary conditions remain strong contenders for accurate and moderately out-of-distribution-robust surrogate modeling.


翻译:偏微分方程是模拟物理、工程和材料系统动力学的核心工具,但高保真仿真往往计算成本高昂。与此同时,许多科学应用可视为空间分布场的演化过程,这使得数据驱动的场预测成为科学机器学习的核心任务。本研究针对周期域上的二维偏微分方程动力学,探究自回归深度学习代理模型在固定偏微分方程和参数体系内对分布外初始条件的泛化能力,并严格限定每个系统至多使用$\mathcal{O}(10^2)$条仿真轨迹的小数据场景。我们提出多通道U-Net架构,在五种性质不同的偏微分方程族上进行评估,并与ViT、AFNO、PDE-Transformer及KAN-UNet在统一训练设置下进行比较。在所有数据集中,me-UNet在分布内推演的场景下,在场空间误差、谱相似性和基于物理的度量指标方面均达到或超越了这些更复杂架构的性能,同时所需训练时间显著减少。该模型在仅使用约20个训练仿真的情况下,仍能对未见初始条件实现定性泛化。数据效率研究和Grad-CAM分析进一步表明,在小数据周期二维偏微分方程场景中,具有与局部性和周期边界条件相契合的归纳偏置的卷积架构,依然是实现精确且具备适度分布外鲁棒性的代理建模的有力候选方案。

0
下载
关闭预览

相关内容

深度学习中泛化的量化、理解与改进
专知会员服务
17+阅读 · 2025年9月13日
基于神经网络的偏微分方程求解方法研究综述
专知会员服务
72+阅读 · 2022年12月7日
<好书推荐> -《Pro Deep Learning with TensorFlow》分享
深度学习与NLP
12+阅读 · 2018年9月13日
迁移学习在深度学习中的应用
专知
24+阅读 · 2017年12月24日
推荐|TensorFlow/PyTorch/Sklearn实现的五十种机器学习模型
全球人工智能
24+阅读 · 2017年7月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员