Kolmogorov-Arnold Networks (KANs) have recently emerged as a compelling alternative to multilayer perceptrons, offering enhanced interpretability via functional decomposition. However, existing KAN architectures, including spline-, wavelet-, radial-basis variants, etc., suffer from high computational cost and slow convergence, limiting scalability and practical applicability. Here, we introduce Feature-Enriched Kolmogorov-Arnold Networks (FEKAN), a simple yet effective extension that preserves all the advantages of KAN while improving computational efficiency and predictive accuracy through feature enrichment, without increasing the number of trainable parameters. By incorporating these additional features, FEKAN accelerates convergence, increases representation capacity, and substantially mitigates the computational overhead characteristic of state-of-the-art KAN architectures. We investigate FEKAN across a comprehensive set of benchmarks, including function-approximation tasks, physics-informed formulations for diverse partial differential equations (PDEs), and neural operator settings that map between input and output function spaces. For function approximation, we systematically compare FEKAN against a broad family of KAN variants, FastKAN, WavKAN, ReLUKAN, HRKAN, ChebyshevKAN, RBFKAN, and the original SplineKAN. Across all tasks, FEKAN demonstrates substantially faster convergence and consistently higher approximation accuracy than the underlying baseline architectures. We also establish the theoretical foundations for FEKAN, showing its superior representation capacity compared to KAN, which contributes to improved accuracy and efficiency.


翻译:Kolmogorov-Arnold网络(KANs)近期作为一种具有吸引力的多层感知机替代方案出现,通过函数分解提供了更强的可解释性。然而,现有的KAN架构(包括样条、小波、径向基函数等变体)存在计算成本高、收敛速度慢的问题,限制了其可扩展性和实际应用。本文提出特征增强的Kolmogorov-Arnold网络(FEKAN),这是一种简单而有效的扩展方法,在保留KAN所有优势的同时,通过特征增强提高了计算效率和预测精度,且未增加可训练参数数量。通过引入这些附加特征,FEKAN加速了收敛过程,增强了表示能力,并显著缓解了现有先进KAN架构特有的计算开销。我们在涵盖函数逼近任务、针对各类偏微分方程(PDEs)的物理信息公式以及输入输出函数空间映射的神经算子设置等全面基准测试中验证了FEKAN的性能。在函数逼近方面,我们系统地将FEKAN与多种KAN变体(FastKAN、WavKAN、ReLUKAN、HRKAN、ChebyshevKAN、RBFKAN及原始SplineKAN)进行了比较。在所有任务中,FEKAN均表现出比基础基准架构显著更快的收敛速度和持续更高的逼近精度。我们还建立了FEKAN的理论基础,证明其相较于KAN具有更优越的表示能力,这直接促进了精度与效率的提升。

0
下载
关闭预览

相关内容

【GAN】生成对抗网络(GAN)的发展史
产业智能官
16+阅读 · 2020年3月20日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月10日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员