We introduce the Fourier Learning Machine (FLM), a neural network (NN) architecture designed to represent a multidimensional nonharmonic Fourier series. The FLM uses a simple feedforward structure with cosine activation functions to learn the frequencies, amplitudes, and phase shifts of the series as trainable parameters. This design allows the model to create a problem-specific spectral basis adaptable to both periodic and nonperiodic functions. Unlike previous Fourier-inspired NN models, the FLM is the first architecture able to represent a multidimensional Fourier series with a complete set of basis functions in separable form, doing so by using a standard Multilayer Perceptron-like architecture. A one-to-one correspondence between the Fourier coefficients and amplitudes and phase-shifts is demonstrated, allowing for the translation between a full, separable basis form and the cosine phase-shifted one. Additionally, we evaluate the performance of FLMs on several scientific computing problems, including benchmark Partial Differential Equations (PDEs) and a family of Optimal Control Problems (OCPs). Computational experiments show that the performance of FLMs is comparable, and often superior, to that of established architectures like SIREN and vanilla feedforward NNs.


翻译:本文介绍傅里叶学习机(FLM),一种设计用于表示多维非调和傅里叶级数的神经网络架构。FLM采用具有余弦激活函数的简单前馈结构,将级数的频率、振幅和相移作为可训练参数进行学习。该设计使模型能够创建适应周期函数与非周期函数的、针对具体问题的谱基。与先前受傅里叶启发的神经网络模型不同,FLM是首个能够以可分离形式表示具有完备基函数集的多维傅里叶级数的架构,其实现方式是采用类似标准多层感知机的结构。我们论证了傅里叶系数与振幅及相移之间的一一对应关系,从而实现了完整的可分离基形式与余弦相移形式之间的转换。此外,我们在多个科学计算问题上评估了FLM的性能,包括基准偏微分方程(PDE)和一族最优控制问题(OCP)。计算实验表明,FLM的性能与SIREN及标准前馈神经网络等成熟架构相当,且通常更优。

0
下载
关闭预览

相关内容

开课了!CMU《多模态机器学习》2023课程,附课件
专知会员服务
74+阅读 · 2023年2月12日
开课了!CMU《多模态机器学习》2022课程,附课件与视频
专知会员服务
155+阅读 · 2022年2月1日
机器也能学会如何学习?——元学习介绍
AINLP
19+阅读 · 2019年9月22日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
可解释的机器学习
平均机器
25+阅读 · 2019年2月25日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关VIP内容
开课了!CMU《多模态机器学习》2023课程,附课件
专知会员服务
74+阅读 · 2023年2月12日
开课了!CMU《多模态机器学习》2022课程,附课件与视频
专知会员服务
155+阅读 · 2022年2月1日
相关资讯
机器也能学会如何学习?——元学习介绍
AINLP
19+阅读 · 2019年9月22日
概述自动机器学习(AutoML)
人工智能学家
19+阅读 · 2019年8月11日
可解释的机器学习
平均机器
25+阅读 · 2019年2月25日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员