Group-equivariant convolutional neural networks (G-CNN) heavily rely on parameter sharing to increase CNN's data efficiency and performance. However, the parameter-sharing strategy greatly increases the computational burden for each added parameter, which hampers its application to deep neural network models. In this paper, we address these problems by proposing a non-parameter-sharing approach for group equivariant neural networks. The proposed methods adaptively aggregate a diverse range of filters by a weighted sum of stochastically augmented decomposed filters. We give theoretical proof about how the group equivariance can be achieved by our methods. Our method applies to both continuous and discrete groups, where the augmentation is implemented using Monte Carlo sampling and bootstrap resampling, respectively. Our methods also serve as an efficient extension of standard CNN. The experiments show that our method outperforms parameter-sharing group equivariant networks and enhances the performance of standard CNNs in image classification and denoising tasks, by using suitable filter bases to build efficient lightweight networks. The code will be available at https://github.com/ZhaoWenzhao/MCG_CNN.


翻译:群等变卷积神经网络(G-CNN)严重依赖参数共享来提高CNN的数据效率和性能。然而,参数共享策略显著增加了每个新增参数的计算负担,这阻碍了其在深度神经网络模型中的应用。本文通过提出一种用于群等变神经网络的非参数共享方法来解决这些问题。所提出的方法通过随机增强分解滤波器的加权和来自适应聚合多种滤波器。我们给出了关于我们的方法如何实现群等变性的理论证明。我们的方法适用于连续群和离散群,其中增强分别通过蒙特卡洛采样和自助重采样实现。我们的方法也可作为标准CNN的高效扩展。实验表明,通过使用合适的滤波器基构建高效的轻量级网络,我们的方法在图像分类和去噪任务中优于参数共享的群等变网络,并提升了标准CNN的性能。代码将在 https://github.com/ZhaoWenzhao/MCG_CNN 提供。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
专知会员服务
31+阅读 · 2021年7月19日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
专知会员服务
18+阅读 · 2020年10月18日
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
23+阅读 · 2023年5月10日
专知会员服务
31+阅读 · 2021年7月19日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
专知会员服务
18+阅读 · 2020年10月18日
相关资讯
【AAAI2023】用于图对比学习的谱特征增强
专知
20+阅读 · 2022年12月11日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员