Fourier Neural Operators (FNOs) have emerged as leading surrogates for solver operators for various functional problems, yet their stability, generalization and frequency behavior lack a principled explanation. We present a systematic effective field theory analysis of FNOs in an infinite-dimensional function space, deriving closed recursion relations for the layer kernel and four-point vertex and then examining three practically important settings-analytic activations, scale-invariant cases and architectures with residual connections. The theory shows that nonlinear activations inevitably couple frequency inputs to high frequency modes that are otherwise discarded by spectral truncation, and experiments confirm this frequency transfer. For wide networks, we derive explicit criticality conditions on the weight initialization ensemble that ensure small input perturbations maintain a uniform scale across depth, and we confirm experimentally that the theoretically predicted ratio of kernel perturbations matches the measurements. Taken together, our results quantify how nonlinearity enables neural operators to capture non-trivial features, supply criteria for hyperparameter selection via criticality analysis, and explain why scale-invariant activations and residual connections enhance feature learning in FNOs. Finally, we translate the criticality theory into a practical criterion-matched initialization (calibration) procedure; on a standard PDEBench Burgers benchmark, the calibrated FNO exhibits markedly more stable optimization, faster convergence, and improved test error relative to a vanilla FNO.


翻译:傅里叶神经算子(FNOs)已成为解决各类函数问题中领先的替代求解算子,但其稳定性、泛化能力及频率行为尚缺乏原理性解释。我们在无限维函数空间中,对FNOs进行了系统的有效场理论分析,推导出层核与四点顶点的闭合递推关系,并考察了三种实际重要的设定——解析激活函数、尺度不变情形以及具有残差连接的架构。该理论表明,非线性激活函数不可避免地会将频率输入耦合到高频模式,而这些模式在谱截断中原本会被丢弃;实验证实了这种频率转移现象。对于宽网络,我们推导了权重初始化集合上明确的临界条件,以确保小的输入扰动在深度上保持均匀的尺度,并通过实验验证了理论预测的核扰动比率与实测结果相符。综合来看,我们的结果量化了非线性如何使神经算子能够捕获非平凡特征,通过临界分析为超参数选择提供了准则,并解释了为何尺度不变激活函数与残差连接能增强FNOs中的特征学习。最后,我们将临界理论转化为一种实用的准则匹配初始化(校准)流程;在标准的PDEBench Burgers基准测试中,经过校准的FNO相较于原始FNO,展现出显著更稳定的优化过程、更快的收敛速度以及更优的测试误差。

0
下载
关闭预览

相关内容

专知会员服务
37+阅读 · 2021年9月12日
专知会员服务
25+阅读 · 2021年7月31日
傅里叶变换和拉普拉斯变换的物理解释及区别
算法与数学之美
11+阅读 · 2018年2月5日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月26日
Arxiv
0+阅读 · 1月17日
VIP会员
相关VIP内容
专知会员服务
37+阅读 · 2021年9月12日
专知会员服务
25+阅读 · 2021年7月31日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员