Biological neural networks exist in physical space where distance influences communication delays: a fundamental coupling between space and time absent in most artificial neural networks. While recent work has separately explored spatial embeddings and learnable synaptic delays in spiking neural networks, we unify these approaches through a novel neuron position learning algorithm where delays relate to the Euclidean distances between neurons. We derive gradients with respect to neuron positions and demonstrate that this biologically-motivated constraint acts as an inductive bias: networks trained on temporal classification tasks spontaneously self-organize into local, clustered topologies and a modular, efficiently wired structure emerges if connection costs are distance-dependent. Remarkably, we observe functional specialization aligned with spatial clustering without explicitly enforcing it. These findings lay the groundwork for networks in which space and time are intrinsically coupled, offering new avenues for mechanistic interpretability, biologically inspired modelling, and efficient implementations.


翻译:生物神经网络存在于物理空间中,其中距离会影响通信延迟:这是空间与时间之间的一种基本耦合关系,在大多数人工神经网络中并不存在。尽管近期研究已分别探索了脉冲神经网络中的空间嵌入和可学习突触延迟,我们通过一种新颖的神经元位置学习算法统一了这两种方法,其中延迟与神经元之间的欧几里得距离相关。我们推导了关于神经元位置的梯度,并证明这种受生物学启发的约束可作为一种归纳偏置:在时序分类任务上训练的网络会自发自组织形成局部聚集的拓扑结构,且当连接成本与距离相关时,会涌现出模块化、高效连接的结构。值得注意的是,我们观察到功能特化与空间聚类自然对齐,而无需显式强制约束。这些发现为构建空间与时间内在耦合的网络奠定了基础,为机制可解释性、仿生建模及高效实现提供了新的研究路径。

0
下载
关闭预览

相关内容

【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
时空深度学习,136页ppt
专知会员服务
111+阅读 · 2022年9月7日
从信息瓶颈理论一瞥机器学习的“大一统理论”
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
时延神经网络(TDNN)原理及其TensorFlow实现
深度学习每日摘要
56+阅读 · 2017年5月19日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
时空深度学习,136页ppt
专知会员服务
111+阅读 · 2022年9月7日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员