Reasoning is the ability to integrate internal states and external inputs in a meaningful and semantically consistent flow. Contemporary machine learning (ML) systems increasingly rely on such sequential reasoning, from language understanding to multi-modal generation, often operating over dictionaries of prototypical patterns reminiscent of associative memory models. Understanding retrieval and sequentiality in associative memory models provides a powerful bridge to gain insight into ML reasoning. While the static retrieval properties of associative memory models are well understood, the theoretical foundations of sequential retrieval and multi-memory integration remain limited, with existing studies largely relying on numerical evidence. This work develops a dynamical theory of sequential reasoning in Hopfield networks. We consider the recently proposed input-driven plasticity (IDP) Hopfield network and analyze a two-timescale architecture coupling fast associative retrieval with slow reasoning dynamics. We derive explicit conditions for self-sustained memory transitions, including gain thresholds, escape times, and collapse regimes. Together, these results provide a principled mathematical account of sequentiality in associative memory models, bridging classical Hopfield dynamics and modern reasoning architectures.


翻译:推理是一种将内部状态与外部输入整合为有意义且语义一致的流程的能力。当代机器学习系统日益依赖此类序列推理能力,从语言理解到多模态生成,其操作常基于原型模式字典,令人联想到联想记忆模型。理解联想记忆模型中的检索与序列性,为洞察机器学习推理提供了重要桥梁。尽管联想记忆模型的静态检索特性已得到充分研究,但序列检索与多记忆整合的理论基础仍显不足,现有研究主要依赖于数值证据。本研究发展了Hopfield网络中序列推理的动力学理论。我们考察最近提出的输入驱动可塑性Hopfield网络,分析了耦合快速联想检索与慢速推理动力学的双时间尺度架构。我们推导出自维持记忆转换的显式条件,包括增益阈值、逃逸时间和坍缩机制。这些结果共同为联想记忆模型中的序列性提供了原理性数学解释,架起了经典Hopfield动力学与现代推理架构之间的桥梁。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【博士论文】推理的表示学习:跨多样结构的泛化
专知会员服务
27+阅读 · 2024年10月20日
深度学习在数学推理中的应用综述
专知会员服务
48+阅读 · 2022年12月25日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
因果推理学习算法资源大列表
专知
27+阅读 · 2019年3月3日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
【NTU博士论文】3D人体动作生成
专知会员服务
1+阅读 · 今天14:48
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
7+阅读 · 今天8:46
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
10+阅读 · 今天5:37
《多域作战面临复杂现实》
专知会员服务
8+阅读 · 今天5:35
《印度的多域作战:条令与能力发展》报告
专知会员服务
3+阅读 · 今天5:24
相关VIP内容
相关资讯
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
因果推理学习算法资源大列表
专知
27+阅读 · 2019年3月3日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员