Physical neural networks typically train linear synaptic weights while treating device nonlinearities as fixed. We show the opposite - by training the synaptic nonlinearity itself, as in Kolmogorov-Arnold Network (KAN) architectures, we yield markedly higher task performance per physical resource and improved performance-parameter scaling than conventional linear weight-based networks, demonstrating ability of KAN topologies to exploit reconfigurable nonlinear physical dynamics. We experimentally realise physical KANs in silicon-on-insulator devices we term 'Synaptic Nonlinear Elements' (SYNEs), operating at room temperature, microampere currents, 2 MHz speeds and ~250 fJ per nonlinear operation, with no observed degradation over 10^13 measurements and months-long timescales. We demonstrate nonlinear function regression, classification, and prediction of Li-Ion battery dynamics from noisy real-world multi-sensor data. Physical KANs outperform equivalently-parameterised software multilayer perceptron networks across all tasks, with up to two orders of magnitude fewer parameters, and two orders of magnitude fewer devices than linear weight based physical networks. These results establish learned physical nonlinearity as a hardware-native computational primitive for compact and efficient learning systems, and SYNE devices as effective substrates for heterogenous nonlinear computing.


翻译:物理神经网络通常训练线性突触权重,同时将器件非线性视为固定特性。我们展示了相反的方法——通过训练突触非线性本身(如Kolmogorov-Arnold网络(KAN)架构所示),我们实现了每单位物理资源显著更高的任务性能,以及相较于传统基于线性权重的网络更优的性能-参数缩放关系,这证明了KAN拓扑结构利用可重构非线性物理动力学的能力。我们在绝缘体上硅器件中实验实现了物理KAN,这些器件被称为“突触非线性元件”(SYNE),可在室温、微安级电流、2 MHz工作频率及每次非线性操作约250 fJ能耗下运行,在超过10^13次测量和数月时间尺度内未观察到性能退化。我们展示了非线性函数回归、分类以及从含噪声的真实世界多传感器数据中预测锂离子电池动力学行为。在所有任务中,物理KAN均优于参数规模相当的软件多层感知器网络,其参数数量可减少多达两个数量级,且所需器件数量比基于线性权重的物理网络少两个数量级。这些结果确立了学习型物理非线性作为硬件原生计算基元可用于构建紧凑高效的学习系统,同时证实SYNE器件是实现异质非线性计算的有效载体。

0
下载
关闭预览

相关内容

异质图学习手册: 基准,模型,理论分析,应用和挑战
专知会员服务
30+阅读 · 2024年7月18日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
图神经网络火了?谈下它的普适性与局限性
机器之心
22+阅读 · 2019年7月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
异质图学习手册: 基准,模型,理论分析,应用和挑战
专知会员服务
30+阅读 · 2024年7月18日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员