Ultrafast online learning is essential for high-frequency systems, such as controls for quantum computing and nuclear fusion, where adaptation must occur on sub-microsecond timescales. Meeting these requirements demands low-latency, fixed-precision computation under strict memory constraints, a regime in which conventional Multi-Layer Perceptrons (MLPs) are both inefficient and numerically unstable. We identify key properties of Kolmogorov-Arnold Networks (KANs) that align with these constraints. Specifically, we show that: (i) KAN updates exploiting B-spline locality are sparse, enabling superior on-chip resource scaling, and (ii) KANs are inherently robust to fixed-point quantization. By implementing fixed-point online training on Field-Programmable Gate Arrays (FPGAs), a representative platform for on-chip computation, we demonstrate that KAN-based online learners are significantly more efficient and expressive than MLPs across a range of low-latency and resource-constrained tasks. To our knowledge, this work is the first to demonstrate model-free online learning at sub-microsecond latencies.


翻译:超快在线学习对高频系统至关重要,例如量子计算和核聚变中的控制系统,这些系统的自适应调整必须在亚微秒时间尺度内完成。满足这些要求需要在严格的内存约束下实现低延迟、固定精度的计算,而传统的多层感知器(MLPs)在这种条件下既效率低下又数值不稳定。我们识别出Kolmogorov-Arnold网络(KANs)中与这些约束相一致的关键特性。具体而言,我们证明:(i)利用B样条局部性的KAN更新是稀疏的,从而在片上实现了优越的资源扩展能力;(ii)KANs天然对定点量化具有鲁棒性。通过在代表片上计算平台的现场可编程门阵列(FPGAs)上实现定点在线训练,我们证明基于KAN的在线学习器在一系列低延迟和资源受限的任务中比MLPs显著更高效且更具表达力。据我们所知,本工作是首次在亚微秒延迟下实现无模型在线学习的演示。

0
下载
关闭预览

相关内容

Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
Meta-Learning 元学习:学会快速学习
GAN生成式对抗网络
20+阅读 · 2018年12月8日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
0+阅读 · 13分钟前
综述 | 世界动作模型:少做梦,多行动
专知会员服务
0+阅读 · 15分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
1+阅读 · 27分钟前
《特种部队在透明战场中的生存力》最新报告
专知会员服务
1+阅读 · 47分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员