We explain how to use Kolmogorov's Superposition Theorem (KST) to overcome the curse of dimensionality in approximating multi-dimensional functions and learning multi-dimensional data sets by using neural networks of two layers. That is, there is a class of functions called $K$-Lipschitz continuous in the sense that the K-outer function $g$ of $f$ is Lipschitz continuous can be approximated by a ReLU network of two layers with $dn, n$ widths to have an approximation order $O(d^2/n)$. In addition, we show that polynomials of high degree can be expressed by using neural networks with activation function $\sigma_\ell(t)=(t_+)^\ell$ with $\ell\ge 2$ with multiple layers and appropriate widths. More layers of neural networks, the higher degree polynomials can be reproduced. Hence, the deep learning algorithm can well approximate multi-dimensional data when the number of layers increases with high degree activation function $\sigma_\ell$. Finally, we present a mathematical justification for image classification by using a deep learning algorithm.


翻译:我们解释如何使用Kolmogorov的超位置理论(KST)来通过使用两层神经网络来克服维度在近似多维功能和学习多维数据集中的诅咒。 也就是说, 有一种叫做$K$- Lipschitz 连续的功能类别, 也就是K- Exerer 函数为$g$f$, 是 Lipschitz 连续的。 更多的神经网络层, 可以复制更高程度的多面值。 因此, 深层次的算法可以非常接近多维数据, 当层数随着高度活化功能增加时, $( d ⁇ 2/n) $。 最后, 我们用一个数学学的图表来学习 。

0
下载
关闭预览

相关内容

维度灾难是指在高维空间中分析和组织数据时出现的各种现象,这些现象在低维设置(例如日常体验的三维物理空间)中不会发生。
【PAISS 2021 教程】概率散度与生成式模型,92页ppt
专知会员服务
34+阅读 · 2021年11月30日
专知会员服务
52+阅读 · 2020年12月14日
迁移学习简明教程,11页ppt
专知会员服务
109+阅读 · 2020年8月4日
深度强化学习策略梯度教程,53页ppt
专知会员服务
184+阅读 · 2020年2月1日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
已删除
将门创投
7+阅读 · 2018年4月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
0+阅读 · 2022年2月21日
Arxiv
15+阅读 · 2020年12月17日
VIP会员
最新内容
《基于深度强化学习的反无人机技术研究》178页
专知会员服务
1+阅读 · 今天16:06
“史诗怒火”行动与“AI中心战”模式的浮现
专知会员服务
1+阅读 · 今天15:31
【CVPR2026教程】扩散模型的解析理解
专知会员服务
0+阅读 · 今天14:49
马赛克战:俄乌战场透析
专知会员服务
13+阅读 · 今天4:12
《利用人工智能增强军事决策》
专知会员服务
4+阅读 · 今天4:09
《自动机器学习在军事数据耕耘法中的应用》
专知会员服务
6+阅读 · 今天4:02
为何指挥所生存能力要求范式转变
专知会员服务
5+阅读 · 今天3:54
打造“新蛛网”模式与高科技动员
专知会员服务
4+阅读 · 今天3:33
“蛛网”行动一周年:远程无人机战争
专知会员服务
3+阅读 · 今天3:23
【剑桥博士论文】智能体-环境协同优化
专知会员服务
7+阅读 · 6月9日
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Ray RLlib: Scalable 降龙十八掌
CreateAMind
9+阅读 · 2018年12月28日
已删除
将门创投
7+阅读 · 2018年4月25日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员