The Gaussian scale parameter \(ε\) is central to the behavior of Gaussian Kolmogorov--Arnold Networks (KANs), yet its role in deep edge-based architectures has not been studied systematically. In this paper, we investigate how \(ε\) affects Gaussian KANs through first-layer feature geometry, conditioning, and approximation behavior. Our central observation is that scale selection is governed primarily by the first layer, since it is the only layer constructed directly on the input domain and any loss of distinguishability introduced there cannot be recovered by later layers. From this viewpoint, we analyze the first-layer feature matrix and identify a practical operating interval, \[ ε\in \left[\frac{1}{G-1},\frac{2}{G-1}\right], \] where \(G\) denotes the number of Gaussian centers. For the standard shared-center Gaussian KAN used in current practice, we interpret this interval not as a universal optimality result, but as a stable and effective design rule, and validate it through brute-force sweeps over \(ε\) across function-approximation problems with different collocation densities, grid resolutions, network architectures, and input dimensions, as well as a physics-informed Helmholtz problem. We further show that this range is useful for fixed-scale selection, variable-scale constructions, constrained training of \(ε\), and efficient scale search using early training MSE. Finally, using a matched Chebyshev reference, we show that a properly scaled Gaussian KAN can already be competitive in accuracy relative to another standard KAN basis. In this way, the paper positions scale selection as a practical design principle for Gaussian KANs rather than as an ad hoc hyperparameter choice.


翻译:高斯尺度参数 \(ε\) 是高斯柯尔莫戈洛夫–阿诺德网络(KANs)行为的关键,但其在深层基于边的架构中的作用尚未被系统研究。本文通过第一层特征几何、条件数及逼近行为,探究 \(ε\) 对高斯KAN的影响。核心发现是:尺度选择主要由第一层决定——因为该层是唯一直接构建于输入域的层级,且该层引入的任何区分性损失均无法被后续层恢复。基于此视角,我们分析了第一层特征矩阵,并确定了一个实用操作区间:\[ ε\in \left[\frac{1}{G-1},\frac{2}{G-1}\right] \],其中 \(G\) 表示高斯中心数量。对于当前实践中使用的标准共享中心高斯KAN,我们将该区间解读为一种稳定有效的设计准则(而非通用最优性结论),并通过在具有不同配点密度、网格分辨率、网络架构及输入维度的函数逼近问题(以及物理信息驱动的亥姆霍兹问题)上对 \(ε\) 进行暴力扫描加以验证。进一步研究表明,该区间适用于固定尺度选择、变尺度构造、\(ε\) 的约束训练,以及利用早期训练均方误差进行高效尺度搜索。最后,通过匹配的切比雪夫参考方法,我们证明:适当缩放的高斯KAN在精度上已能与其他标准KAN基函数相竞争。由此,本文将尺度选择定位为高斯KAN的一种实用设计原则,而非临时性的超参数选择。

0
下载
关闭预览

相关内容

高阶网络的表示:基于图的框架综述
专知会员服务
16+阅读 · 5月14日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
【GAN】生成对抗网络(GAN)的发展史
产业智能官
16+阅读 · 2020年3月20日
Graph Neural Network(GNN)最全资源整理分享
深度学习与NLP
339+阅读 · 2019年7月9日
谷歌EfficientNet缩放模型,PyTorch实现登热榜
机器学习算法与Python学习
11+阅读 · 2019年6月4日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
基于GAN的极限图像压缩框架
论智
12+阅读 · 2018年4月15日
历史最全GAN网络及其各种变体整理(附论文及代码实现)
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
高阶网络的表示:基于图的框架综述
专知会员服务
16+阅读 · 5月14日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员