The Kolmogorov-Arnold representation theorem offers a theoretical alternative to Multi-Layer Perceptrons (MLPs) by placing learnable univariate functions on edges rather than nodes. While recent implementations such as Kolmogorov-Arnold Networks (KANs) demonstrate high approximation capabilities, they suffer from significant parameter inefficiency due to the requirement of maintaining unique parameterizations for every network edge. In this work, we propose GS-KAN (Generalized Sprecher-KAN), a lightweight architecture inspired by David Sprecher's refinement of the superposition theorem. GS-KAN constructs unique edge functions by applying learnable linear transformations to a single learnable, shared parent function per layer. We evaluate GS-KAN against existing KAN architectures and MLPs across synthetic function approximation, tabular data regression and image classification tasks. Our results demonstrate that GS-KAN outperforms both MLPs and standard KAN baselines on continuous function approximation tasks while maintaining superior parameter efficiency. Additionally, GS-KAN achieves competitive performance with existing KAN architectures on tabular regression and outperforms MLPs on high-dimensional classification tasks. Crucially, the proposed architecture enables the deployment of KAN-based architectures in high-dimensional regimes under strict parameter constraints, a setting where standard implementations are typically infeasible due to parameter explosion. The source code is available at https://github.com/rambamn48/gs-impl.


翻译:科尔莫戈罗夫-阿诺德表示定理通过将可学习单变量函数置于网络边而非节点上,为多层感知机(MLP)提供了理论替代方案。尽管近期实现的科尔莫戈罗夫-阿诺德网络(KAN)展现出高近似能力,但由于需为每条网络边维护独立参数化,导致显著参数低效问题。本文提出GS-KAN(广义斯普雷彻-KAN),一种受大卫·斯普雷彻对叠加定理精细化研究启发的轻量架构。GS-KAN通过对每层单个可学习的共享父函数施加可学习线性变换,构造唯一的边函数。我们在合成函数逼近、表格数据回归和图像分类任务中,将GS-KAN与现有KAN架构及MLP进行对比评估。结果表明,GS-KAN在连续函数逼近任务上优于MLP和标准KAN基线,同时保持更优的参数效率。此外,GS-KAN在表格回归任务上达到与现有KAN架构相当的竞争力,并在高维分类任务中超越MLP。关键在于,所提架构使基于KAN的架构能够在严格参数约束下的高维场景中部署——而标准实现因参数爆炸在此类场景中通常不可行。源代码见https://github.com/rambamn48/gs-impl。

0
下载
关闭预览

相关内容

CFGAN:基于生成对抗网络的协同过滤框架
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
基础 | GRU神经网络
黑龙江大学自然语言处理实验室
27+阅读 · 2018年3月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员