Why and how that deep learning works well on different tasks remains a mystery from a theoretical perspective. In this paper we draw a geometric picture of the deep learning system by finding its analogies with two existing geometric structures, the geometry of quantum computations and the geometry of the diffeomorphic template matching. In this framework, we give the geometric structures of different deep learning systems including convolutional neural networks, residual networks, recursive neural networks, recurrent neural networks and the equilibrium prapagation framework. We can also analysis the relationship between the geometrical structures and their performance of different networks in an algorithmic level so that the geometric framework may guide the design of the structures and algorithms of deep learning systems.


翻译:深层学习在不同任务上如何运作,从理论角度来说,这仍然是个谜。在本文中,我们通过找到其与两个现有几何结构的相似之处,即量数计算几何学和二面形模板匹配的几何学,来绘制深层学习系统的几何结构,包括进化神经网络、残余网络、循环神经网络、循环神经网络和平衡平衡平衡处理框架。我们还可以分析几何结构与不同网络在算法层面的运行情况之间的关系,以便几何框架能够指导深层学习系统的结构和算法的设计。

5
下载
关闭预览

相关内容

【课程推荐】 深度学习中的几何(Geometry of Deep Learning)
专知会员服务
59+阅读 · 2019年11月10日
开源书:PyTorch深度学习起步
专知会员服务
51+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
NIPS 2017:贝叶斯深度学习与深度贝叶斯学习(讲义+视频)
机器学习研究会
36+阅读 · 2017年12月10日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
A Survey on Bayesian Deep Learning
Arxiv
64+阅读 · 2020年7月2日
Arxiv
53+阅读 · 2018年12月11日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
NIPS 2017:贝叶斯深度学习与深度贝叶斯学习(讲义+视频)
机器学习研究会
36+阅读 · 2017年12月10日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
相关论文
A Survey on Bayesian Deep Learning
Arxiv
64+阅读 · 2020年7月2日
Arxiv
53+阅读 · 2018年12月11日
A Multi-Objective Deep Reinforcement Learning Framework
Arxiv
8+阅读 · 2018年5月15日
Top
微信扫码咨询专知VIP会员