Recently, multi-layer perceptrons (MLPs) widely used in modern AI applications suffer from limited real-time performance due to intensive memory access overhead. Kolmogorov--Arnold Networks (KANs) have attracted increasing attention as an alternative architecture with similar structures to MLPs but improved parameter efficiency. However, the lack of dedicated hardware support limits the practical performance benefits of KANs. Moreover, since many edge workloads still rely heavily on MLPs, accelerators designed exclusively for KANs become inefficient and impractical. In this work, we present VIKIN, a reconfigurable accelerator that efficiently supports both KAN and MLP inference using unified hardware. VIKIN introduces a pipeline execution mode and two-stage sparsity support for efficient KAN processing, while enabling parallel-mode acceleration to improve MLP throughput under the same sparsity framework. Experiments on real-world datasets demonstrate that replacing MLPs with KANs on VIKIN achieves $1.28\times$ acceleration with $19.58\%$ reduced accuracy loss. For a higher-accuracy KAN model requiring $3.29\times$ more operations, VIKIN incurs only $1.24\times$ latency overhead compared with the baseline KAN model. In addition, VIKIN achieves $1.25\times$ speedup and $4.87\times$ higher energy efficiency than a representative edge GPU when executing KAN workloads.


翻译:近年来,广泛应用于现代人工智能应用的多层感知机(MLP)因密集的内存访问开销而面临实时性能受限的问题。Kolmogorov-Arnold网络(KAN)作为一种替代架构受到越来越多的关注,其结构类似于MLP但具有更高的参数效率。然而,专用硬件支持的缺乏限制了KAN的实际性能优势。此外,由于许多边缘计算任务仍严重依赖MLP,专为KAN设计的加速器在效率和实用性上均显不足。本文提出VIKIN,一种可重构加速器,能够利用统一硬件高效支持KAN与MLP推理。VIKIN为高效处理KAN引入了流水线执行模式和两级稀疏度支持,同时在同一稀疏度框架下启用并行模式加速以提升MLP吞吐量。在真实数据集上的实验表明,在VIKIN上用KAN替代MLP可实现1.28倍的加速,且精度损失降低19.58%。对于计算量增加3.29倍的高精度KAN模型,VIKIN相比基准KAN模型仅产生1.24倍的延迟开销。此外,在执行KAN任务时,VIKIN相比代表性边缘GPU实现了1.25倍的加速和4.87倍的能效提升。

0
下载
关闭预览

相关内容

TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
【ECCV2022】UniNet:具有卷积、Transformer和MLP的统一架构搜索
神经网络加速器架构概述
专知会员服务
37+阅读 · 2022年4月23日
2021机器学习研究风向是啥?MLP→CNN→Transformer→MLP!
专知会员服务
67+阅读 · 2021年5月23日
通过集成 XNNPACK 实现推理速度飞跃
TensorFlow
26+阅读 · 2020年7月30日
【GNN】深度学习之上,图神经网络(GNN )崛起
产业智能官
16+阅读 · 2019年8月15日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
最新内容
《系统簇式多域作战规划范畴论框架》
专知会员服务
5+阅读 · 4月20日
高效视频扩散模型:进展与挑战
专知会员服务
2+阅读 · 4月20日
乌克兰前线的五项创新
专知会员服务
7+阅读 · 4月20日
 军事通信系统与设备的技术演进综述
专知会员服务
5+阅读 · 4月20日
《北约标准:医疗评估手册》174页
专知会员服务
5+阅读 · 4月20日
《提升生成模型的安全性与保障》博士论文
专知会员服务
5+阅读 · 4月20日
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
14+阅读 · 4月19日
相关VIP内容
TransMLA:多头潜在注意力(MLA)即为所需
专知会员服务
23+阅读 · 2025年2月13日
【ECCV2022】UniNet:具有卷积、Transformer和MLP的统一架构搜索
神经网络加速器架构概述
专知会员服务
37+阅读 · 2022年4月23日
2021机器学习研究风向是啥?MLP→CNN→Transformer→MLP!
专知会员服务
67+阅读 · 2021年5月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员