This paper introduces the Hierarchical Kolmogorov-Arnold Network (HKAN), a novel network architecture that offers a competitive alternative to the recently proposed Kolmogorov-Arnold Network (KAN). Unlike KAN, which relies on backpropagation, HKAN adopts a randomized learning approach, where the parameters of its basis functions are fixed, and linear aggregations are optimized using least-squares regression. HKAN utilizes a hierarchical multi-stacking framework, with each layer refining the predictions from the previous one by solving a series of linear regression problems. This non-iterative training method simplifies computation and eliminates sensitivity to local minima in the loss function. Empirical results show that HKAN delivers comparable, if not superior, accuracy and stability relative to KAN across various regression tasks, while also providing insights into variable importance. The proposed approach seamlessly integrates theoretical insights with practical applications, presenting a robust and efficient alternative for neural network modeling.


翻译:本文提出了分层柯尔莫哥洛夫-阿诺德网络(HKAN),这是一种新型网络架构,为近期提出的柯尔莫哥洛夫-阿诺德网络(KAN)提供了一种具有竞争力的替代方案。与依赖反向传播的KAN不同,HKAN采用随机化学习方法,其基函数的参数被固定,而线性聚合部分则通过最小二乘回归进行优化。HKAN采用分层多堆叠框架,每一层通过求解一系列线性回归问题来细化前一层的预测。这种非迭代的训练方法简化了计算,并消除了对损失函数局部极小值的敏感性。实证结果表明,在各种回归任务中,HKAN相对于KAN具有相当(甚至更优)的准确性和稳定性,同时还能提供变量重要性的洞察。所提出的方法将理论洞见与实际应用无缝结合,为神经网络建模提供了一种鲁棒且高效的替代方案。

0
下载
关闭预览

相关内容

GCN如何并行化?分布式图卷积神经网路,13页pdf
专知会员服务
35+阅读 · 2020年7月20日
[ICML2020]层次间消息传递的分子图学习
专知会员服务
34+阅读 · 2020年6月27日
【阿尔托大学】图神经网络,Graph Neural Networks,附60页ppt
专知会员服务
185+阅读 · 2020年4月26日
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
24+阅读 · 2020年4月3日
【ICLR2020-哥伦比亚大学】多关系图神经网络CompGCN
专知会员服务
50+阅读 · 2020年4月2日
【GNN】MPNN:消息传递神经网络
深度学习自然语言处理
17+阅读 · 2020年4月11日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
29+阅读 · 2019年6月21日
图卷积神经网络(GCN)文本分类详述
专知
280+阅读 · 2019年4月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月10日
Arxiv
0+阅读 · 2月5日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员