Permutation equivariant neural networks employing parameter-sharing schemes have emerged as powerful models for leveraging a wide range of data symmetries, significantly enhancing the generalization and computational efficiency of the resulting models. Recently, Kolmogorov-Arnold Networks (KANs) have demonstrated promise through their improved interpretability and expressivity compared to traditional architectures based on MLPs. While equivariant KANs have been explored in recent literature for a few specific data types, a principled framework for applying them to data with permutation symmetries in a general context remains absent. This paper introduces Function Sharing KAN (FS-KAN), a principled approach to constructing equivariant and invariant KA layers for arbitrary permutation symmetry groups, unifying and significantly extending previous work in this domain. We derive the basic construction of these FS-KAN layers by generalizing parameter-sharing schemes to the Kolmogorov-Arnold setup and provide a theoretical analysis demonstrating that FS-KANs have the same expressive power as networks that use standard parameter-sharing layers, allowing us to transfer well-known and important expressivity results from parameter-sharing networks to FS-KANs. Empirical evaluations on multiple data types and symmetry groups show that FS-KANs exhibit superior data efficiency compared to standard parameter-sharing layers, by a wide margin in certain cases, while preserving the interpretability and adaptability of KANs, making them an excellent architecture choice in low-data regimes.


翻译:采用参数共享方案的置换等变神经网络已成为利用广泛数据对称性的强大模型,显著提升了所得模型的泛化能力和计算效率。近年来,柯尔莫哥洛夫-阿诺德网络(KANs)相较于基于多层感知器的传统架构,通过其增强的可解释性和表达能力展现出潜力。尽管近期文献已针对少数特定数据类型探索了等变KAN,但在通用背景下将其应用于具有置换对称性数据的原理性框架仍然缺失。本文提出函数共享KAN(FS-KAN),这是一种为任意置换对称群构建等变与不变KA层的原理性方法,统一并显著扩展了该领域的先前工作。我们通过将参数共享方案推广至柯尔莫哥洛夫-阿诺德框架,推导出这些FS-KAN层的基本构造,并提供理论分析证明FS-KAN具有与使用标准参数共享层的网络相同的表达能力,从而使我们能够将参数共享网络中已知且重要的表达能力结果迁移至FS-KAN。在多种数据类型和对称群上的实证评估表明,FS-KAN相较于标准参数共享层展现出更优的数据效率,在某些情况下优势显著,同时保持了KAN的可解释性和适应性,使其成为低数据场景下的优秀架构选择。

0
下载
关闭预览

相关内容

等变图神经网络综述解读
专知会员服务
26+阅读 · 2023年1月9日
【GAN】生成对抗网络(GAN)的发展史
产业智能官
16+阅读 · 2020年3月20日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
29+阅读 · 2019年6月21日
H-Nets:让CNN的旋转等变性更加稳定
论智
12+阅读 · 2018年4月18日
历史最全GAN网络及其各种变体整理(附论文及代码实现)
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月5日
VIP会员
相关VIP内容
等变图神经网络综述解读
专知会员服务
26+阅读 · 2023年1月9日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员