Kernel-based learning methods can dramatically increase the storage capacity of Hopfield networks, yet the dynamical mechanism behind this enhancement remains poorly understood. We address this gap by unifying the geometric analysis of the attractor landscape with the spectral theory of kernel machines. Using a novel metric, "Pinnacle Sharpness," we first uncover a rich phase diagram of attractor stability, identifying a "Ridge of Optimization" where the network achieves maximal robustness under high-load conditions. Phenomenologically, this ridge is characterized by a "Force Antagonism," where a strong driving force is balanced by a collective feedback force. Theoretically, we reveal that this phenomenon arises from a specific reorganization of the weight spectrum, which we term \textit{Spectral Concentration}. Unlike a simple rank-1 collapse, our analysis shows that the network on the ridge self-organizes into a critical state: the leading eigenvalue is amplified to maximize global stability (Direct Force), while the trailing eigenvalues are preserved to maintain high memory capacity (Indirect Force). These findings provide a complete physical picture of how high-capacity associative memories are formed, demonstrating that optimal performance is achieved by tuning the system to a spectral "Goldilocks zone" between rank collapse and diffusion.


翻译:基于核的学习方法能显著提升Hopfield网络的存储容量,然而这种增强背后的动力学机制仍不甚明晰。本文通过将吸引子景观的几何分析与核机器的谱理论相统一,填补了这一空白。利用一种新颖的度量——“峰顶锐度”,我们首先揭示了吸引子稳定性的丰富相图,识别出一个“优化脊”,在该脊上网络在高负载条件下达到最大鲁棒性。从现象学上看,该脊的特征表现为一种“力拮抗”,即强大的驱动力与集体反馈力达到平衡。理论上,我们揭示了这一现象源于权重谱的一种特定重组,我们称之为\\textit{谱集中}。与简单的秩-1坍缩不同,我们的分析表明,位于脊上的网络自组织到一个临界态:主导特征值被放大以最大化全局稳定性(直接力),而后续特征值得以保留以维持高记忆容量(间接力)。这些发现为高容量联想记忆的形成提供了完整的物理图景,表明通过将系统调节至秩坍缩与扩散之间的谱“金发姑娘区”,可实现最优性能。

0
下载
关闭预览

相关内容

MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
59+阅读 · 2021年1月6日
专知会员服务
20+阅读 · 2020年12月9日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
121+阅读 · 2020年7月9日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
38+阅读 · 2019年7月25日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
手把手教你构建ResNet残差网络
专知
38+阅读 · 2018年4月27日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
176+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
501+阅读 · 2023年3月31日
Arxiv
83+阅读 · 2023年3月26日
Arxiv
182+阅读 · 2023年3月24日
VIP会员
最新内容
电子战革命:塑造战场的十年突破(2015–2025)
专知会员服务
2+阅读 · 53分钟前
人工智能即服务与未来战争(印度视角)
专知会员服务
0+阅读 · 今天7:57
《美国战争部2027财年军事人员预算》
专知会员服务
0+阅读 · 今天7:44
伊朗战争中的电子战
专知会员服务
4+阅读 · 今天7:04
大语言模型平台在国防情报应用中的对比
专知会员服务
6+阅读 · 今天3:12
美海军“超配项目”
专知会员服务
6+阅读 · 今天2:13
《美陆军条例:陆军指挥政策(2026版)》
专知会员服务
11+阅读 · 4月21日
相关VIP内容
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
【AAAI2021】图卷积网络中的低频和高频信息作用
专知会员服务
59+阅读 · 2021年1月6日
专知会员服务
20+阅读 · 2020年12月9日
【KDD2020】自适应多通道图卷积神经网络
专知会员服务
121+阅读 · 2020年7月9日
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
论文浅尝 | ICLR2020 - 基于组合的多关系图卷积网络
开放知识图谱
21+阅读 · 2020年4月24日
【CVPR2019】弱监督图像分类建模
深度学习大讲堂
38+阅读 · 2019年7月25日
误差反向传播——CNN
统计学习与视觉计算组
31+阅读 · 2018年7月12日
手把手教你构建ResNet残差网络
专知
38+阅读 · 2018年4月27日
LibRec 每周算法:DeepFM
LibRec智能推荐
14+阅读 · 2017年11月6日
在TensorFlow中对比两大生成模型:VAE与GAN
机器之心
12+阅读 · 2017年10月23日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员