Executing Spiking Neural Networks (SNNs) on neuromorphic hardware poses the problem of mapping neurons to cores. SNNs operate by propagating spikes between neurons that form a graph through synapses. Neuromorphic hardware mimics them through a network-on-chip, transmitting spikes, and a mesh of cores, each managing several neurons. Its operational cost is tied to spike movement and active cores. A mapping comprises two tasks: partitioning the SNN's graph to fit inside cores and placement of each partition on the hardware mesh. Both are NP-hard problems, and as SNNs and hardware scale towards billions of neurons, they become increasingly difficult to tackle effectively. In this work, we propose to raise the abstraction of SNNs from graphs to hypergraphs, redesigning mapping techniques accordingly. The resulting model faithfully captures the replication of spikes inside cores by exposing the notion of hyperedge co-membership between neurons. We further show that the overlap and locality of hyperedges strongly correlate with high-quality mappings, making these properties instrumental in devising mapping algorithms. By exploiting them directly, grouping neurons through shared hyperedges, communication traffic and hardware resource usage can be reduced be yond what just contracting individual connections attains. To substantiate this insight, we consider several partitioning and placement algorithms, some newly devised, others adapted from literature, and compare them over progressively larger and bio-plausible SNNs. Our results show that hypergraph based techniques can achieve better mappings than the state-of-the-art at several execution time regimes. Based on these observations, we identify a promising selection of algorithms to achieve effective mappings at any scale.


翻译:在神经形态硬件上执行脉冲神经网络(SNNs)面临着将神经元映射至计算核心的问题。SNNs通过神经元之间经由突触形成的图进行脉冲传递。神经形态硬件通过片上网络传输脉冲,并利用核心网格(每个核心管理多个神经元)来模拟这一过程。其运行成本与脉冲移动和活跃核心数量密切相关。映射过程包含两个任务:将SNN图分割以适应核心容量,以及将每个分区放置于硬件网格上。这两个任务均属于NP难问题,且随着SNNs和硬件规模向数十亿神经元扩展,有效解决这些问题的难度日益增加。本研究提出将SNNs的抽象层次从图提升至超图,并据此重新设计映射技术。该模型通过揭示神经元间超边共属关系,精确刻画了核心内部脉冲复制的特性。我们进一步证明,超边的重叠性与局部性与高质量映射强相关,这些特性对设计映射算法具有关键作用。通过直接利用这些特性——即基于共享超边对神经元进行分组——可以在单纯压缩个体连接的基础上,进一步降低通信流量和硬件资源使用率。为验证这一观点,我们考察了多种分割与放置算法(包括新设计的算法和文献改编算法),并在规模递增且具有生物合理性的SNNs上进行对比实验。结果表明,基于超图的技术能够在多个执行时间范围内实现优于现有最优方法的映射效果。基于这些发现,我们筛选出一组具有潜力的算法,可在任意规模下实现高效映射。

0
下载
关闭预览

相关内容

脉冲神经网络在普适计算中的潜力:综述与新视角
专知会员服务
16+阅读 · 2025年6月4日
脉冲神经网络的架构原理、数据集和训练方法
专知会员服务
23+阅读 · 2024年8月13日
专知会员服务
63+阅读 · 2021年9月20日
最新《图神经网络实用指南》2020论文,28页pdf
专知会员服务
222+阅读 · 2020年10月17日
专知会员服务
29+阅读 · 2020年8月8日
脉冲神经网络(SNN)概述
人工智能前沿讲习班
62+阅读 · 2019年5月30日
硬件加速神经网络综述
计算机研究与发展
26+阅读 · 2019年2月1日
脉冲神经网络,下一代机器学习?
专知
13+阅读 · 2018年1月13日
前沿 | 简述脉冲神经网络SNN:下一代神经网络
机器之心
39+阅读 · 2018年1月13日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员