This paper studies least-squares ReLU neural network method for solving the linear advection-reaction problem with discontinuous solution. The method is a discretization of an equivalent least-squares formulation in the set of neural network functions with the ReLU activation function. The method is capable of approximating the discontinuous interface of the underlying problem automatically through the free hyper-planes of the ReLU neural network and, hence, outperforms mesh-based numerical methods in terms of the number of degrees of freedom. Numerical results of some benchmark test problems show that the method can not only approximate the solution with the least number of parameters, but also avoid the common Gibbs phenomena along the discontinuous interface. Moreover, a three-layer ReLU neural network is necessary and sufficient in order to well approximate a discontinuous solution with an interface in $\mathbb{R}^2$ that is not a straight line.


翻译:本文研究用不连续的解决方案解决线性平反反应问题的最不平方 ReLU 神经网络方法。 该方法是一种与RELU 激活功能的神经网络函数组中等同的最平方配方的离散方法。 该方法能够通过 ReLU 神经网络的免费高空天平自动接近根本问题的不连续界面,从而在自由度方面优于基于网状的数字方法。 一些基准测试问题的数字结果表明,该方法不仅可以以最小的参数来近似该解决方案,而且还可以避免在不连续界面上常见的吉布斯现象。 此外,三层 ReLU 神经网络是必要的,而且足够,可以与不是直线的 $\mathb{R ⁇ 2$的界面相近一个不连续的解决方案。

0
下载
关闭预览

相关内容

专知会员服务
55+阅读 · 2020年9月7日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
106+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Graph Neural Networks 综述
计算机视觉life
30+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
SFFAI分享 | 杨朝晖:二值化网络
人工智能前沿讲习班
6+阅读 · 2018年11月22日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
已删除
将门创投
5+阅读 · 2017年11月22日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
0+阅读 · 2021年7月15日
Arxiv
6+阅读 · 2018年10月3日
VIP会员
最新内容
军事域更好使用人工智能的实用指南
专知会员服务
8+阅读 · 10月22日
《衡量语言模型中的作战规划能力》
专知会员服务
13+阅读 · 10月20日
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
15+阅读 · 10月20日
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
8+阅读 · 10月20日
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
12+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
16+阅读 · 10月15日
现代电磁战:集成式系统簇时代如何实现频谱优势
相关资讯
鲁棒机器学习相关文献集
专知
8+阅读 · 2019年8月18日
Graph Neural Networks 综述
计算机视觉life
30+阅读 · 2019年8月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
SFFAI分享 | 杨朝晖:二值化网络
人工智能前沿讲习班
6+阅读 · 2018年11月22日
随波逐流:Similarity-Adaptive and Discrete Optimization
我爱读PAMI
5+阅读 · 2018年2月6日
已删除
将门创投
5+阅读 · 2017年11月22日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员