Experimental evidence indicates that intrinsic temporal dynamics operating across multiple time scales are closely associated with the emergence of periodic spatial activity of increasing complexity. However, how information encoded in grid-like firing patterns for path integration is processed across these intrinsic time scales remains unclear. To address this question, we introduce adaptive time scales through a leak term in recurrent neural networks (RNNs), forming leaky RNNs discretized from the continuous attractors of firing rate models. Our results demonstrate that leaky RNNs substantially enhance the emergence of well-defined and highly regular hexagonal firing patterns. Compared with vanilla RNNs lacking a leak term, the trained leaky RNNs produce more accurate position estimates while generating reliable grid-cell-like representations. Furthermore, under identical noise conditions, leaky RNNs consistently exhibit more stable dynamics and better-defined grid structures. The learned dynamics also give rise to stable torus attractors with a clear central hole, supporting robust and regular grid-like activity. Overall, the dynamic leak acts as a low-pass filtering mechanism that protects recurrent neural circuitry from noise, stabilizes network dynamics, and improves path-integration accuracy in recurrent neural networks.


翻译:实验证据表明,跨多时间尺度运行的固有时间动力学与逐渐复杂的周期性空间活动的涌现密切相关。然而,在路径积分过程中,以网格样放电模式编码的信息如何在这些固有时间尺度上被处理仍不清楚。为解决这一问题,我们通过递归神经网络中的泄漏项引入自适应时间尺度,形成从连续吸引子放电率模型离散化的泄漏递归神经网络。结果表明,泄漏递归神经网络显著增强了清晰规则六边形放电模式的涌现。与缺乏泄漏项的普通递归神经网络相比,训练后的泄漏递归神经网络在生成可靠网格细胞样表征的同时,产生了更精确的位置估计。此外,在相同噪声条件下,泄漏递归神经网络始终表现出更稳定的动力学和更清晰的网格结构。学习到的动力学还产生了具有清晰中心孔的稳定环面吸引子,支持稳健规则的网格样活动。总体而言,动态泄漏作为一种低通滤波机制,保护递归神经回路免受噪声干扰、稳定网络动力学,并提高了递归神经网络中的路径积分精度。

0
下载
关闭预览

相关内容

递归神经网络(RNN)是神经网络的一种。单纯的RNN因为无法处理随着递归,权重指数级爆炸或梯度消失问题,难以捕捉长期时间关联;而结合不同的LSTM可以很好解决这个问题。 时间递归神经网络可以描述动态时间行为,因为和前馈神经网络(feedforward neural network)接受较特定结构的输入不同,RNN将状态在自身网络中循环传递,因此可以接受更广泛的时间序列结构输入。手写识别是最早成功利用RNN的研究结果。
深度预测学习:模型与应用
专知会员服务
49+阅读 · 2022年12月5日
【清华大学】图神经网络交通流预测综述论文,19页pdf
专知会员服务
50+阅读 · 2021年1月29日
专知会员服务
110+阅读 · 2020年12月22日
深入卷积神经网络背后的数学原理
人工智能学家
10+阅读 · 2019年4月26日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
论文浅尝 | Know-Evolve: Deep Temporal Reasoning for Dynamic KG
开放知识图谱
36+阅读 · 2018年3月30日
【回顾】深度学习系列之二:卷积神经网络
AI研习社
20+阅读 · 2017年12月1日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月15日
Arxiv
0+阅读 · 5月5日
VIP会员
最新内容
对抗环境下超视距目标打击的情报支援
专知会员服务
3+阅读 · 今天14:49
《无人机对海面作战影响评估》
专知会员服务
11+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
6+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
相关VIP内容
深度预测学习:模型与应用
专知会员服务
49+阅读 · 2022年12月5日
【清华大学】图神经网络交通流预测综述论文,19页pdf
专知会员服务
50+阅读 · 2021年1月29日
专知会员服务
110+阅读 · 2020年12月22日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员