Reasoning is the ability to integrate internal states and external inputs in a meaningful and semantically consistent flow. Contemporary machine learning (ML) systems increasingly rely on such sequential reasoning, from language understanding to multi-modal generation, often operating over dictionaries of prototypical patterns reminiscent of associative memory models. Understanding retrieval and sequentiality in associative memory models provides a powerful bridge to gain insight into ML reasoning. While the static retrieval properties of associative memory models are well understood, the theoretical foundations of sequential retrieval and multi-memory integration remain limited, with existing studies largely relying on numerical evidence. This work develops a dynamical theory of sequential reasoning in Hopfield networks. We consider the recently proposed input-driven plasticity (IDP) Hopfield network and analyze a two-timescale architecture coupling fast associative retrieval with slow reasoning dynamics. We derive explicit conditions for self-sustained memory transitions, including gain thresholds, escape times, and collapse regimes. Together, these results provide a principled mathematical account of sequentiality in associative memory models, bridging classical Hopfield dynamics and modern reasoning architectures.


翻译:推理是一种将内部状态与外部输入整合为有意义且语义一致的信息流的能力。当代机器学习系统日益依赖此类序列推理能力,从语言理解到多模态生成,其操作常基于原型模式词典,这令人联想到联想记忆模型。理解联想记忆模型中的检索与序列性,为洞察机器学习推理提供了重要桥梁。尽管联想记忆模型的静态检索特性已得到充分研究,但序列检索与多记忆整合的理论基础仍显不足,现有研究主要依赖数值证据。本研究发展了Hopfield网络中序列推理的动力学理论。我们考察近期提出的输入驱动可塑性Hopfield网络,分析了耦合快速联想检索与慢速推理动力学的双时间尺度架构。我们推导出自维持记忆转换的显式条件,包括增益阈值、逃逸时间和坍缩机制。这些结果共同为联想记忆模型中的序列性提供了原理性数学解释,架起了经典Hopfield动力学与现代推理架构之间的桥梁。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【博士论文】推理的表示学习:跨多样结构的泛化
专知会员服务
27+阅读 · 2024年10月20日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
因果推理学习算法资源大列表
专知
27+阅读 · 2019年3月3日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
从信息瓶颈理论一瞥机器学习的“大一统理论”
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关VIP内容
【博士论文】推理的表示学习:跨多样结构的泛化
专知会员服务
27+阅读 · 2024年10月20日
相关资讯
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
因果推理学习算法资源大列表
专知
27+阅读 · 2019年3月3日
【机器学习】深入剖析机器学习中的统计思想
产业智能官
17+阅读 · 2019年1月24日
从信息瓶颈理论一瞥机器学习的“大一统理论”
基于信息理论的机器学习
专知
22+阅读 · 2017年11月23日
关系推理:基于表示学习和语义要素
计算机研究与发展
19+阅读 · 2017年8月22日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员