We analyze the universal approximation property of Kolmogorov-Arnold Networks (KANs) in terms of their edge functions. If these functions are all affine, then universality clearly fails. How many non-affine functions are needed, in addition to affine ones, to ensure universality? We show that a single one suffices. More precisely, we prove that deep KANs in which all edge functions are either affine or equal to a fixed continuous function $σ$ are dense in $C(K)$ for every compact set $K\subset\mathbb{R}^n$ if and only if $σ$ is non-affine. In contrast, for KANs with exactly two hidden layers, universality holds if and only if $σ$ is nonpolynomial. We further show that the full class of affine functions is not required; it can be replaced by a finite set without affecting universality. In particular, in the nonpolynomial case, a fixed family of five affine functions suffices when the depth is arbitrary. More generally, for every continuous non-affine function $σ$, there exists a finite affine family $A_σ$ such that deep KANs with edge functions in $A_σ\cup\{σ\}$ remain universal. We also prove that KANs with the spline-based edge parameterization introduced by Liu et al.~\cite{Liu2024} are universal approximators in the classical sense, even when the spline degree and knot sequence are fixed in advance.


翻译:我们从边函数的角度分析了Kolmogorov-Arnold网络(KANs)的普适逼近性质。若所有边函数均为仿射函数,则普适性显然无法成立。在仿射函数之外,需要多少个非仿射函数才能确保普适性?我们证明仅需一个即可。更精确地,我们证明:对于每个紧集$K\subset\mathbb{R}^n$,当且仅当$σ$为非仿射连续函数时,所有边函数要么为仿射函数、要么等于固定连续函数$σ$的深度KAN在$C(K)$中稠密。相比之下,对于恰好具有两个隐藏层的KAN,当且仅当$σ$为非多项式函数时,普适性成立。我们进一步证明,无需完整的仿射函数类,可用有限集合替代而不影响普适性。特别地,在非多项式情形下,当深度任意时,五个仿射函数组成的固定族即可满足要求。更一般地,对任意连续非仿射函数$σ$,存在有限仿射族$A_σ$,使得边函数取自$A_σ\cup\{σ\}$的深度KAN仍具有普适性。我们还证明,采用Liu等人~\cite{Liu2024}提出的基于样条的边参数化的KAN,即使在样条次数和节点序列预先固定的情况下,也是经典意义上的普适逼近器。

0
下载
关闭预览

相关内容

专知会员服务
34+阅读 · 2020年10月10日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
简明条件随机场CRF介绍 | 附带纯Keras实现
PaperWeekly
23+阅读 · 2018年5月22日
一文读懂深度适配网络(DAN)
数据派THU
29+阅读 · 2017年7月14日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
深入Project Maven:为何人工智能在战场上依然失灵
专知会员服务
4+阅读 · 今天15:21
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
0+阅读 · 今天15:12
《无人机蜂群通信技术研究》50页
专知会员服务
4+阅读 · 今天14:55
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
3+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
7+阅读 · 7月17日
相关VIP内容
专知会员服务
34+阅读 · 2020年10月10日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
简明条件随机场CRF介绍 | 附带纯Keras实现
PaperWeekly
23+阅读 · 2018年5月22日
一文读懂深度适配网络(DAN)
数据派THU
29+阅读 · 2017年7月14日
相关基金
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员