We introduce ChebLieNet, a group-equivariant method on (anisotropic) manifolds. Surfing on the success of graph- and group-based neural networks, we take advantage of the recent developments in the geometric deep learning field to derive a new approach to exploit any anisotropies in data. Via discrete approximations of Lie groups, we develop a graph neural network made of anisotropic convolutional layers (Chebyshev convolutions), spatial pooling and unpooling layers, and global pooling layers. Group equivariance is achieved via equivariant and invariant operators on graphs with anisotropic left-invariant Riemannian distance-based affinities encoded on the edges. Thanks to its simple form, the Riemannian metric can model any anisotropies, both in the spatial and orientation domains. This control on anisotropies of the Riemannian metrics allows to balance equivariance (anisotropic metric) against invariance (isotropic metric) of the graph convolution layers. Hence we open the doors to a better understanding of anisotropic properties. Furthermore, we empirically prove the existence of (data-dependent) sweet spots for anisotropic parameters on CIFAR10. This crucial result is evidence of the benefice we could get by exploiting anisotropic properties in data. We also evaluate the scalability of this approach on STL10 (image data) and ClimateNet (spherical data), showing its remarkable adaptability to diverse tasks.


翻译:我们引入了 ChebLieNet, 这是一种在( 异质) 方形上( 异质) 的群状神经网络。 在图形和群状神经网络的成功上, 我们利用几何深学习领域的最新发展, 以获得数据中任何异质类的新的方法。 通过分离的 Lie 群的近似, 我们开发了一个由异质共变层( Chebyshev convoluctions) 、 空间共享和不共享层以及全球集合层组成的图形神经网络网络。 群异性是通过在具有异异异异性、 和群状神经网络网络网络网络网络网络网络网络网络网络的成功运行者实现的。 以异异异异性和异异性( 异异异异变) 以异异异异异性( 异变) 以异异异异性( 异异异异变) 以异异异异异异异性( 异变( 异变) 以异异异性( 异异变) 以异异异异性( 异变) 异异异异异异变( 异变) 异变( 异变10 异) 异( 异变) 异异异异异异异异异异异变( 异变) 异异异异异异异异异性) ) 异异异异异异性( 异性( 异异异异异性) 异性) ) ) ) 异性( ) ) 异性( 异异异异异异异异异异异异异异异性( ) 异性) ) (我们性( ) 异性) 异性(我们性) ) ) ) ) ) (我们性(我们性(我们性) (我们曼性) ) (我们性) ) ) ) ) ) (我们性) ) ) (我们性(我们方 ) (我们性) 性) 地(我们性(我们性) 性) (我们 ) (我们 性) 地) (我们 ) (我们 ) (我们性) (我们 ) (我们 ) (我们 ) (我们 数据 变

0
下载
关闭预览

相关内容

专知会员服务
45+阅读 · 2020年12月18日
神经常微分方程教程,50页ppt,A brief tutorial on Neural ODEs
专知会员服务
74+阅读 · 2020年8月2日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
下载 | 114页自监督学习指南【PPT By Yann Lecun】
机器学习算法与Python学习
4+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2022年1月28日
Arxiv
8+阅读 · 2021年2月19日
Geometric Graph Convolutional Neural Networks
Arxiv
10+阅读 · 2019年9月11日
Arxiv
3+阅读 · 2018年2月11日
VIP会员
最新内容
2025年大语言模型进展报告
专知会员服务
1+阅读 · 今天13:30
多智能体协作机制
专知会员服务
1+阅读 · 今天13:26
非对称优势:美海军开发低成本反无人机技术
专知会员服务
4+阅读 · 今天4:39
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
6+阅读 · 今天2:48
《军事模拟:将军事条令与目标融入AI智能体》
专知会员服务
9+阅读 · 今天2:43
【NTU博士论文】3D人体动作生成
专知会员服务
7+阅读 · 4月24日
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
8+阅读 · 4月24日
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
14+阅读 · 4月24日
《多域作战面临复杂现实》
专知会员服务
10+阅读 · 4月24日
《印度的多域作战:条令与能力发展》报告
专知会员服务
5+阅读 · 4月24日
相关资讯
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
下载 | 114页自监督学习指南【PPT By Yann Lecun】
机器学习算法与Python学习
4+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
计算机视觉近一年进展综述
机器学习研究会
9+阅读 · 2017年11月25日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员