Neural operators serve as fast, data-driven surrogates for scientific modeling but typically rely on a monolithic, single-pass inference procedure that struggles to resolve high-frequency details, a limitation known as spectral bias. We introduce the Iterative Refinement Neural Operator (IRNO), which augments pre-trained operators with a learned refinement module iteratively applied via fixed-point iteration. IRNO decomposes the prediction into a coarse initialization followed by successive residual corrections, paralleling classical numerical solvers. Under local assumptions, we establish contraction of the induced operator, ensuring convergence to a unique fixed point. To explicitly target high-frequency errors, we propose a progressive spectral loss that adaptively increases penalty on high-frequency components over refinement steps during training. Across physical systems, IRNO consistently lowers error, with up to 56.05% improvement on turbulent flow. On Active Matter, spectral analysis reveals that, relative to base operator, the normalized error ratios decrease to 27.72-36.10% in low-, 5.07-6.68% in mid-, and 1.48-2.04% in high-frequencies, remaining stable beyond the trained iteration count. Code is available at https://github.com/xiaotianliu-dartmouth/Iterative_Refinement_Neural_Operator


翻译:神经算子作为科学建模中快速、数据驱动的替代方法,但通常依赖于单次推理的单一流程,难以捕捉高频细节——这一局限性被称为谱偏倚。我们提出迭代精化神经算子(IRNO),该方法通过固定点迭代循环应用一个学习得到的精化模块,对预训练算子进行增强。IRNO将预测过程分解为初始粗预测与后续残差修正的序列操作,与经典数值求解器形式相呼应。在局部假设下,我们证明了诱导算子的压缩性,确保其收敛至唯一固定点。为明确针对高频误差,我们提出渐进式谱损失函数,该函数在训练过程中随精化步骤自适应地增加对高频分量的惩罚。在物理系统的测试中,IRNO持续降低误差,在湍流模拟中误差降幅达56.05%。在活性物质案例中,谱分析表明:相对于基础算子,归一化误差比在低频段降至27.72–36.10%,中频段降至5.07–6.68%,高频段降至1.48–2.04%,且该性能在超训练迭代次数后保持稳定。代码开源于 https://github.com/xiaotianliu-dartmouth/Iterative_Refinement_Neural_Operator

0
下载
关闭预览

相关内容

NeurIPS2022|基于解耦因果子结构学习的去偏差图神经网络
专知会员服务
37+阅读 · 2021年9月12日
专知会员服务
18+阅读 · 2020年10月18日
【NeurIPS 2020】核基渐进蒸馏加法器神经网络
专知
13+阅读 · 2020年10月19日
详解GAN的谱归一化(Spectral Normalization)
PaperWeekly
11+阅读 · 2019年2月13日
PyTorch实现多种深度强化学习算法
专知
36+阅读 · 2019年1月15日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月8日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
6+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
NeurIPS2022|基于解耦因果子结构学习的去偏差图神经网络
专知会员服务
37+阅读 · 2021年9月12日
专知会员服务
18+阅读 · 2020年10月18日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员