Dense Associative Memory (DAM) models generalize the classical Hopfield model by incorporating n-body or exponential interactions that greatly enhance storage capacity. While the criticality of DAM models has been largely investigated, mainly within a statistical equilibrium picture, little attention has been devoted to the temporal self-organizing behavior induced by learning. In this work, we investigate the behavior of a stochastic exponential DAM (SEDAM) model through the lens of Temporal Complexity (TC), a framework that characterizes complex systems by intermittent transition events between order and disorder and by scale-free temporal statistics. Transition events associated with birth-death of neural avalanche structures are exploited for the TC analyses and compared with analogous transition events based on coincidence structures. We systematically explore how TC indicators depend on control parameters, i.e., noise intensity and memory load. Our results reveal that the SEDAM model exhibits regimes of complex intermittency characterized by nontrivial temporal correlations and scale-free behavior, indicating the spontaneous emergence of self-organizing dynamics. These regimes emerge in small intervals of noise intensity values, which, in agreement with the extended criticality concept, never shrink to a single critical point. Further, the noise intensity range needed to reach the critical region, where self-organizing behavior emerges, slightly decreases as the memory load increases. This study highlights the relevance of TC as a complementary framework for understanding learning and information processing in artificial and biological neural systems, revealing the link between the memory load and the self-organizing capacity of the network.


翻译:密集联想记忆(DAM)模型通过引入n体或指数相互作用,极大地提升了存储容量,从而推广了经典的Hopfield模型。尽管DAM模型的临界性已在统计平衡框架下得到广泛研究,但学习所诱导的时间自组织行为却鲜受关注。本研究通过时间复杂性(TC)的视角,探讨了随机指数型DAM(SEDAM)模型的行为。TC框架通过秩序与无序之间的间歇性转变事件以及无标度时间统计量来刻画复杂系统。我们利用与神经雪崩结构生灭相关的转变事件进行TC分析,并将其与基于重合结构的类似转变事件进行比较。我们系统地探究了TC指标如何依赖于控制参数(即噪声强度和记忆负载)。结果表明,SEDAM模型展现出具有非平凡时间相关性和无标度行为的复杂间歇性机制,表明自组织动力学的自发涌现。这些机制出现在噪声强度值的小区间内,且根据扩展临界性概念,这些区间从不收缩为单一临界点。此外,随着记忆负载增加,达到出现自组织行为的临界区域所需的噪声强度范围略有减小。本研究强调了TC作为理解人工与生物神经系统中学习与信息处理的补充框架的重要性,揭示了记忆负载与网络自组织能力之间的联系。

0
下载
关闭预览

相关内容

TC:IEEE Transactions on Computers。 Explanation:电气电子工程师学会计算机期刊。 Publisher:IEEE。 SIT:http://dblp.uni-trier.de/db/journals/tc/index.html
视觉自回归模型综述
专知会员服务
45+阅读 · 2024年11月15日
【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
【论文笔记】自注意力机制学习句子embedding
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月10日
VIP会员
相关VIP内容
视觉自回归模型综述
专知会员服务
45+阅读 · 2024年11月15日
【Nature machine intelligence】闭型连续时间神经网络
专知会员服务
30+阅读 · 2022年11月17日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员