Kolmogorov--Arnold Networks (KANs) replace linear weights with spline-based functions, offering strong expressivity but posing challenges for low-precision deployment due to heterogeneous parameter distributions. We introduce QuantKAN, the first unified framework for quantization-aware training (QAT) and post-training quantization (PTQ) of KANs. The framework employs branch-aware quantizers for base and spline parameters and extends modern QAT and PTQ methods to spline-based layers across EfficientKAN, FastKAN, PyKAN, and KAGN. Experiments on MNIST, CIFAR-10/100, TinyImageNet, and ImageNet provide the first unified QAT/PTQ KAN benchmarks and show that DSQ is the most robust QAT method at aggressive low-bit settings, while GPTQ is the strongest PTQ method at moderate precision. Sensitivity analyses reveal architecture-specific failure modes: spline/basis parameters dominate in FastKAN, while base or scaling parameters dominate in EfficientKAN, GRAM, and PyKAN. Vivado HLS estimates on a Xilinx UltraScale+ device further suggest up to 3.32$\times$ throughput and 7.7$\times$ lower estimated dynamic energy per inference under W4A4, exposing a residual \emph{basis-evaluation tax} that motivates basis-aware microarchitecture. QuantKAN is available at https://github.com/OSU-STARLAB/QuantKAN/.


翻译:科尔莫戈罗夫-阿诺德网络(KANs)用基于样条的函数替代线性权重,虽然提供了强大的表达能力,但由于参数分布异构性,给低精度部署带来了挑战。我们提出QuantKAN,这是首个针对KANs的量化感知训练(QAT)和后训练量化(PTQ)统一框架。该框架对基参数和样条参数采用分支感知量化器,并将现代QAT和PTQ方法扩展至EfficientKAN、FastKAN、PyKAN和KAGN中的样条层。在MNIST、CIFAR-10/100、TinyImageNet和ImageNet上的实验不仅提供了首个统一的QAT/PTQ KAN基准测试,还表明DSQ在激进低比特设置下是最稳健的QAT方法,而GPTQ在中等精度下是最强的PTQ方法。敏感性分析揭示了架构特定的失效模式:在FastKAN中,样条/基参数占主导地位;而在EfficientKAN、GRAM和PyKAN中,基或缩放参数占主导地位。基于Xilinx UltraScale+器件的Vivado HLS估算进一步表明,在W4A4配置下吞吐量提升高达3.32倍,每次推理的估算动态能耗降低7.7倍,从而揭示了残余的“基评估代价”,这激发了面向基的微架构设计。QuantKAN代码开源地址:https://github.com/OSU-STARLAB/QuantKAN/。

0
下载
关闭预览

相关内容

Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
《量子优势评估框架》13页slides,卡内基梅隆大学
专知会员服务
28+阅读 · 2022年10月11日
专知会员服务
92+阅读 · 2021年4月12日
Seq2seq强化,Pointer Network简介
机器学习算法与Python学习
15+阅读 · 2018年12月8日
基于python的开源量化交易,量化投资架构
运维帮
15+阅读 · 2018年7月5日
超全总结:神经网络加速之量化模型 | 附带代码
基于强化学习的量化交易框架
机器学习研究会
30+阅读 · 2018年2月22日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员