Executing Spiking Neural Networks (SNNs) on neuromorphic hardware poses the problem of mapping neurons to cores. SNNs operate by propagating spikes between neurons that form a graph through synapses. Neuromorphic hardware mimics them through a network-on-chip, transmitting spikes, and a mesh of cores, each managing several neurons. Its operational cost is tied to spike movement and active cores. A mapping comprises two tasks: partitioning the SNN's graph to fit inside cores and placement of each partition on the hardware mesh. Both are NP-hard problems, and as SNNs and hardware scale towards billions of neurons, they become increasingly difficult to tackle effectively. In this work, we propose to raise the abstraction of SNNs from graphs to hypergraphs, redesigning mapping techniques accordingly. The resulting model faithfully captures the replication of spikes inside cores by exposing the notion of hyperedge co-membership between neurons. We further show that the overlap and locality of hyperedges strongly correlate with high-quality mappings, making these properties instrumental in devising mapping algorithms. By exploiting them directly, grouping neurons through shared hyperedges, communication traffic and hardware resource usage can be reduced be yond what just contracting individual connections attains. To substantiate this insight, we consider several partitioning and placement algorithms, some newly devised, others adapted from literature, and compare them over progressively larger and bio-plausible SNNs. Our results show that hypergraph based techniques can achieve better mappings than the state-of-the-art at several execution time regimes. Based on these observations, we identify a promising selection of algorithms to achieve effective mappings at any scale.


翻译:执行脉冲神经网络于神经形态硬件时,需解决神经元映射至计算核心的问题。脉冲神经网络通过突触形成的图结构,在神经元间传播脉冲信号。神经形态硬件采用片上网络传输脉冲,配合处理核心阵列(每个核心管理多个神经元)进行模拟。其运行成本与脉冲迁移量及活跃核心数相关。映射任务包含两个步骤:将脉冲神经网络的图结构分割适配至核心,以及将各分区部署至硬件网格。这两者均为NP难问题,随着脉冲神经网络与硬件规模扩展至数十亿神经元,高效求解变得愈发困难。本文提出将脉冲神经网络的抽象层级从图提升至超图,并据此重新设计映射技术。该模型通过揭示神经元间超边共成员关系,准确捕捉了核心内脉冲复制现象。进一步研究发现,超边的重叠度与局部性与高质量映射显著相关,这些特性成为设计映射算法的关键。通过直接利用这些特性,将共享超边的神经元分组,可超越单纯收缩单条连接所能达到的效果,显著降低通信流量与硬件资源消耗。为验证这一观点,我们采用多种分区与布局算法(部分为新设计,部分改编自文献),在规模递增且具有生物合理性的脉冲神经网络上进行对比实验。结果表明,基于超图的技术能在多种执行时间场景下实现优于现有技术的映射方案。基于这些观察,我们筛选出能实现任意规模有效映射的算法组合。

0
下载
关闭预览

相关内容

【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
大规模图神经网络研究综述
专知会员服务
85+阅读 · 2023年8月25日
图神经网络综述
专知会员服务
207+阅读 · 2022年1月9日
专知会员服务
63+阅读 · 2021年9月20日
最新《图神经网络模型与应用》综述论文
专知会员服务
297+阅读 · 2020年8月2日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
图神经网络综述:模型与应用
PaperWeekly
198+阅读 · 2018年12月26日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
10+阅读 · 2017年6月8日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
3+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
3+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
3+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
【博士论文】机器学习中新型神经元模型的研究
专知会员服务
25+阅读 · 2024年11月20日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
大规模图神经网络研究综述
专知会员服务
85+阅读 · 2023年8月25日
图神经网络综述
专知会员服务
207+阅读 · 2022年1月9日
专知会员服务
63+阅读 · 2021年9月20日
最新《图神经网络模型与应用》综述论文
专知会员服务
297+阅读 · 2020年8月2日
相关资讯
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
图神经网络综述:模型与应用
PaperWeekly
198+阅读 · 2018年12月26日
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
10+阅读 · 2017年6月8日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员