Physics-informed neural networks (PINNs) have achieved notable success in modeling dynamical systems governed by partial differential equations (PDEs). To avoid computationally expensive retraining under new physical conditions, parameterized PINNs (P$^2$INNs) commonly adapt pre-trained operators using singular value decomposition (SVD) for out-of-distribution (OOD) regimes. However, SVD-based fine-tuning often suffers from rigid subspace locking and truncation of important high-frequency spectral modes, limiting its ability to capture complex physical transitions. While parameter-efficient fine-tuning (PEFT) methods appear to be promising alternatives, applying conventional adapters such as LoRA to P$^2$INNs introduces a severe Pareto trade-off, as additive updates increase parameter overhead and disrupt the structured physical manifolds inherent in operator representations. To address these limitations, we propose Manifold-Orthogonal Dual-spectrum Extrapolation (MODE), a lightweight micro-architecture designed for physics operator adaptation. MODE decomposes physical evolution into complementary mechanisms including principal-spectrum dense mixing that enables cross-modal energy transfer within frozen orthogonal bases, residual-spectrum awakening that activates high-frequency spectral components through a single trainable scalar, and affine Galilean unlocking that explicitly isolates spatial translation dynamics. Experiments on challenging PDE benchmarks including the 1D Convection--Diffusion--Reaction equation and the 2D Helmholtz equation demonstrate that MODE achieves strong out-of-distribution generalization while preserving the minimal parameter complexity of native SVD and outperforming existing PEFT-based baselines.


翻译:物理信息神经网络(PINNs)在模拟由偏微分方程(PDE)控制的动力系统方面取得了显著成功。为避免在新物理条件下进行昂贵的重训练,参数化物理信息神经网络(P$^2$INNs)通常采用奇异值分解(SVD)对预训练算子进行分布外(OOD)适应。然而,基于SVD的微调常受限于刚性子空间锁定及重要高频谱模式截断,导致其难以捕捉复杂物理变迁。尽管参数高效微调(PEFT)方法看似具有潜力,将LoRA等传统适配器应用于P$^2$INNs会引入严重的帕累托权衡——加性更新不仅增加参数开销,更会破坏算子表示中固有的结构化物理流形。针对上述局限,我们提出流形正交双谱外推(MODE)方法,这是一种专为物理算子适配设计的轻量级微架构。MODE将物理演化分解为互补机制:主谱密集混合实现冻结正交基内的跨模态能量传递;残谱唤醒通过单个可训练标量激活高频谱分量;仿射伽利略解锁则显式分离空间平移动力学。在包含一维对流-扩散-反应方程与二维亥姆霍兹方程等挑战性PDE基准上的实验表明,MODE在保持原生SVD最小参数复杂度的同时,实现了强分布外泛化性能,并超越现有基于PEFT的基线方法。

0
下载
关闭预览

相关内容

从PINNs到PIKANs:物理信息机器学习的最新进展
专知会员服务
43+阅读 · 2024年10月27日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
【ETHZ博士论文】深度学习在科学计算中的应用,181页pdf
专知会员服务
57+阅读 · 2023年12月15日
基于图神经网络的推荐算法总结
机器学习与推荐算法
25+阅读 · 2021年9月30日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
神经网络常微分方程 (Neural ODEs) 解析
AI科技评论
42+阅读 · 2019年8月9日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月5日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
从PINNs到PIKANs:物理信息机器学习的最新进展
专知会员服务
43+阅读 · 2024年10月27日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
【ETHZ博士论文】深度学习在科学计算中的应用,181页pdf
专知会员服务
57+阅读 · 2023年12月15日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员