Kolmogorov--Arnold Networks (KANs) have recently attracted attention as edge-based neural architectures in which learnable univariate functions replace conventional fixed activation functions. A key source of flexibility in KANs is the choice of basis functions used to parameterize the learnable edge functions. In this context, Gaussian basis functions provide a simple and efficient alternative to splines. However, their performance depends strongly on the scale (shape) parameter \(ε\), whose role has not been studied systematically. In this paper, we investigate how \(ε\) affects Gaussian KANs through first-layer feature geometry, conditioning, and approximation behavior. Our central observation is that scale selection is governed primarily by the first layer, since it is the only layer constructed directly on the input domain and any loss of distinguishability introduced there cannot be recovered by later layers. From this viewpoint, we analyze the first-layer feature matrix and identify a practical operating interval, \[ ε\in \left[\frac{1}{G-1},\frac{2}{G-1}\right], \] where \(G\) denotes the number of Gaussian centers. We interpret this interval not as a universal optimality result, but as a stable and effective design rule, and validate it through brute-force sweeps over \(ε\) across function-approximation problems with different collocation densities, grid resolutions, network architectures, and input dimensions, as well as physics-informed problems. We further show that this range is useful for fixed-scale selection, variable-scale constructions, constrained training of \(ε\), and efficient scale search using early training MSE. In this way, the paper positions scale selection as a practical design principle for Gaussian KANs rather than as an ad hoc hyperparameter choice.


翻译:Kolmogorov-Arnold网络(KANs)近期作为基于边的神经架构引起关注,其中可学习的单变量函数替代了传统的固定激活函数。KANs灵活性的关键来源在于用于参数化可学习边函数的基函数选择。在此背景下,高斯基函数提供了比样条函数更简单高效的替代方案。然而,其性能强烈依赖于尺度(形状)参数\(ε\),该参数的作用尚未得到系统研究。本文通过第一层特征几何、条件数和逼近行为三个维度,系统研究了\(ε\)对高斯KANs的影响机制。我们的核心发现是:尺度选择主要由第一层决定,因为这是唯一直接在输入域上构建的层,且该层引入的任何可区分性损失都无法被后续层恢复。基于这一视角,我们分析了第一层特征矩阵,并确定了实用操作区间\[ ε\in \left[\frac{1}{G-1},\frac{2}{G-1}\right] \],其中\(G\)表示高斯中心数量。我们并不将该区间诠释为普适最优性结果,而是将其作为稳定有效的设计准则,并通过在不同配置点密度、网格分辨率、网络架构和输入维度下的函数逼近问题(以及物理信息问题)中对\(ε\)进行暴力扫描来验证。进一步研究表明,该区间对于固定尺度选择、变尺度构建、\(ε\)的约束训练,以及利用早期训练MSE进行高效尺度搜索均具有实用价值。通过这种方式,本文将尺度选择定位为高斯KANs的实用设计原则,而非临时性的超参数选择。

0
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2020年8月8日
初学者的 Keras:实现卷积神经网络
Python程序员
24+阅读 · 2019年9月8日
关于GANs在医学图像领域应用的总结
人工智能前沿讲习班
31+阅读 · 2019年6月4日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
综述 | 世界动作模型:少做梦,多行动
专知会员服务
4+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
7+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
4+阅读 · 6月23日
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
专知会员服务
29+阅读 · 2020年8月8日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员