In this paper, we introduce FC-KAN, a Kolmogorov-Arnold Network (KAN) that leverages combinations of popular mathematical functions such as B-splines, wavelets, and radial basis functions on low-dimensional data through element-wise operations. We explore several methods for combining the outputs of these functions, including sum, element-wise product, the addition of sum and element-wise product, representations of quadratic and cubic functions, concatenation, linear transformation of the concatenated output, and others. In our experiments, we compare FC-KAN with a multi-layer perceptron network (MLP) and other existing KANs, such as BSRBF-KAN, EfficientKAN, FastKAN, and FasterKAN, on the MNIST and Fashion-MNIST datasets. Two variants of FC-KAN, which use a combination of outputs from B-splines and Difference of Gaussians (DoG) and from B-splines and linear transformations in the form of a quadratic function, outperformed overall other models on the average of 5 independent training runs. We expect that FC-KAN can leverage function combinations to design future KANs. Our repository is publicly available at: https://github.com/hoangthangta/FC_KAN.


翻译:本文提出FC-KAN,一种Kolmogorov-Arnold网络(KAN),其通过对低维数据进行逐元素运算,融合了B样条、小波与径向基函数等常用数学函数的组合。我们探索了多种组合这些函数输出的方法,包括求和、逐元素乘积、求和与逐元素乘积的叠加、二次与三次函数的表示、拼接、对拼接输出的线性变换以及其他方式。实验中,我们在MNIST与Fashion-MNIST数据集上,将FC-KAN与多层感知机网络(MLP)及其他现有KAN模型(如BSRBF-KAN、EfficientKAN、FastKAN与FasterKAN)进行了比较。FC-KAN的两种变体——分别采用B样条与高斯差分(DoG)的组合输出,以及采用B样条与以二次函数形式呈现的线性变换的组合输出——在5次独立训练的平均性能上超越了所有其他模型。我们预期FC-KAN能够借助函数组合为未来KAN的设计提供支持。代码仓库已公开于:https://github.com/hoangthangta/FC_KAN。

0
下载
关闭预览

相关内容

FC:Financial Cryptography and Data Security。 Explanation:金融密码与数据安全。 Publisher:Springer。 SIT: http://dblp.uni-trier.de/db/conf/fc/
GCN如何并行化?分布式图卷积神经网路,13页pdf
专知会员服务
35+阅读 · 2020年7月20日
和积网络综述论文,Sum-product networks: A survey,24页pdf
专知会员服务
24+阅读 · 2020年4月3日
掌握图神经网络GNN基本,看这篇文章就够了
新智元
164+阅读 · 2019年2月14日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
历史最全GAN网络及其各种变体整理(附论文及代码实现)
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月14日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员