Kolmogorov-Arnold networks (KANs) represent data features by learning the activation functions and demonstrate superior accuracy with fewer parameters, FLOPs, GPU memory usage (Memory), shorter training time (TraT), and testing time (TesT) when handling low-dimensional data. However, when applied to high-dimensional data, which contains significant redundant information, the current activation mechanism of KANs leads to unnecessary computations, thereby reducing computational efficiency. KANs require reshaping high-dimensional data into a one-dimensional tensor as input, which inevitably results in the loss of dimensional information. To address these limitations, we propose weighted activation distribution KANs (WKANs), which reduce the frequency of activations per node and distribute node information into different output nodes through weights to avoid extracting redundant information. Furthermore, we introduce a multilevel tensor splitting framework (MTSF), which decomposes high-dimensional data to extract features from each dimension independently and leverages tensor-parallel computation to significantly improve the computational efficiency of WKANs on high-dimensional data. In this paper, we design SpectralKAN for hyperspectral image change detection using the proposed MTSF. SpectralKAN demonstrates outstanding performance across five datasets, achieving an overall accuracy (OA) of 0.9801 and a Kappa coefficient (K) of 0.9514 on the Farmland dataset, with only 8 k parameters, 0.07 M FLOPs, 911 MB Memory, 13.26 S TraT, and 2.52 S TesT, underscoring its superior accuracy-efficiency trade-off. The source code is publicly available at https://github.com/yanhengwang-heu/SpectralKAN.


翻译:Kolmogorov-Arnold网络(KANs)通过学习激活函数来表示数据特征,在处理低维数据时展现出更高的精度、更少的参数量、浮点运算量(FLOPs)、GPU内存占用量(Memory)、更短的训练时间(TraT)和测试时间(TesT)。然而,当应用于包含大量冗余信息的高维数据时,KANs现有的激活机制会导致不必要的计算,从而降低计算效率。KANs需要将高维数据重塑为一维张量作为输入,这不可避免地导致维度信息丢失。为解决这些局限性,我们提出了加权激活分布KANs(WKANs),其通过降低每个节点的激活频率,并通过权重将节点信息分配到不同的输出节点,以避免提取冗余信息。此外,我们引入了一种多级张量分割框架(MTSF),该框架将高维数据分解以独立提取各维度特征,并利用张量并行计算显著提升WKANs处理高维数据的计算效率。本文利用所提出的MTSF,设计了用于高光谱图像变化检测的SpectralKAN。SpectralKAN在五个数据集上均表现出卓越性能,在Farmland数据集上实现了0.9801的总体精度(OA)和0.9514的Kappa系数(K),且仅需8 k参数量、0.07 M FLOPs、911 MB内存、13.26秒训练时间和2.52秒测试时间,充分体现了其优异的精度-效率权衡。源代码已公开于https://github.com/yanhengwang-heu/SpectralKAN。

0
下载
关闭预览

相关内容

KDD20 | AM-GCN:自适应多通道图卷积网络
专知会员服务
40+阅读 · 2020年8月26日
【GNN】R-GCN:GCN 在知识图谱中的应用
深度学习自然语言处理
11+阅读 · 2020年5月4日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
KDD20 | AM-GCN:自适应多通道图卷积网络
专知会员服务
40+阅读 · 2020年8月26日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员