Reasoning is the ability to integrate internal states and external inputs in a meaningful and semantically consistent flow. Contemporary machine learning (ML) systems increasingly rely on such sequential reasoning, from language understanding to multi-modal generation, often operating over dictionaries of prototypical patterns reminiscent of associative memory models. Understanding retrieval and sequentiality in associative memory models provides a powerful bridge to gain insight into ML reasoning. While the static retrieval properties of associative memory models are well understood, the theoretical foundations of sequential retrieval and multi-memory integration remain limited, with existing studies largely relying on numerical evidence. This work develops a dynamical theory of sequential reasoning in Hopfield networks. We consider the recently proposed input-driven plasticity (IDP) Hopfield network and analyze a two-timescale architecture coupling fast associative retrieval with slow reasoning dynamics. We derive explicit conditions for self-sustained memory transitions, including gain thresholds, escape times, and collapse regimes. Together, these results provide a principled mathematical account of sequentiality in associative memory models, bridging classical Hopfield dynamics and modern reasoning architectures.


翻译:推理是一种将内部状态与外部输入整合为有意义且语义一致的信息流的能力。当代机器学习系统日益依赖此类序列推理能力,从语言理解到多模态生成,其操作常基于原型模式词典,这令人联想到联想记忆模型。理解联想记忆模型中的检索与序列性,为洞察机器学习推理提供了重要桥梁。尽管联想记忆模型的静态检索特性已得到充分研究,但序列检索与多记忆整合的理论基础仍显不足,现有研究主要依赖数值证据。本研究发展了Hopfield网络中序列推理的动力学理论。我们考察近期提出的输入驱动可塑性Hopfield网络,分析了耦合快速联想检索与慢速推理动力学的双时间尺度架构。我们推导出自维持记忆转换的显式条件,包括增益阈值、逃逸时间和坍缩机制。这些结果共同为联想记忆模型中的序列性提供了原理性数学解释,架起了经典Hopfield动力学与现代推理架构之间的桥梁。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【博士论文】推理的表示学习:跨多样结构的泛化
专知会员服务
27+阅读 · 2024年10月20日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
因果推理学习算法资源大列表
专知
27+阅读 · 2019年3月3日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
从信息瓶颈理论一瞥机器学习的“大一统理论”
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
43+阅读 · 2024年1月25日
VIP会员
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
0+阅读 · 53分钟前
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
3+阅读 · 今天14:04
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
6+阅读 · 今天13:49
基于声学的无人机检测技术综述
专知会员服务
5+阅读 · 今天13:37
《当代混合战争分析框架:俄乌战争经验教训》
专知会员服务
5+阅读 · 今天13:11
战略前沿人工智能的再思考(中文)
专知会员服务
7+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
5+阅读 · 5月29日
相关VIP内容
【博士论文】推理的表示学习:跨多样结构的泛化
专知会员服务
27+阅读 · 2024年10月20日
相关资讯
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
因果推理学习算法资源大列表
专知
27+阅读 · 2019年3月3日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
从信息瓶颈理论一瞥机器学习的“大一统理论”
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员