High-capacity associative memories based on Kernel Logistic Regression (KLR) exhibit strong storage capabilities, but the dynamical and geometric mechanisms underlying their stability remain poorly understood. This paper investigates the global geometry of attractor basins and the physical determinants of the storage limit in KLR-trained Hopfield networks. We combine empirical evaluations using random sequences and real-world image embeddings (CIFAR-10) with phenomenological morphing experiments and statistical Signal-to-Noise Ratio (SNR) analysis. Our experiments reveal that the network achieves a storage capacity for random sequences up to $P/N \approx 16$ , and maintains stable retrieval for structured data at effective loads near $P/N \approx 20$ . Through morphing analysis, we reveal that attractors on the "Ridge of Optimization" are separated by sharp, phase-transition-like boundaries, characterized by steep effective potential barriers and critical slowing down. Furthermore, by contrasting an SNR analysis with a geometric reference point inspired by Cover's theorem, we show that the ultimate storage limit is constrained primarily not by a lack of geometric separability in the feature space, but by the loss of dynamical stability against crosstalk noise. These findings suggest that KLR networks function as highly localized, exemplar-based memories that operate optimally just before the onset of dynamical collapse, providing new insights into the design of robust, large-scale retrieval systems.


翻译:基于核逻辑回归的高容量联想记忆模型展现出强大的存储能力,但其稳定性背后的动力学与几何机制尚不明确。本文研究了经核逻辑回归训练的霍普菲尔德网络中吸引子盆地全局几何结构及存储极限的物理决定因素。我们结合随机序列与真实图像嵌入(CIFAR-10)的实证评估、现象学形变实验及统计信噪比分析,揭示了网络在随机序列下的存储容量可达 $P/N \approx 16$,而对结构化数据在有效负载接近 $P/N \approx 20$ 时仍保持稳定检索。通过形变分析,我们发现在"优化脊"上的吸引子被尖锐的相变式边界分隔,其特征为陡峭的有效势垒与临界减速效应。此外,通过对比信噪比分析与基于Cover定理的几何参照点,我们证明存储极限主要受制于对串扰噪声的动力学稳定性丧失,而非特征空间几何可分离性的不足。这些发现表明核逻辑回归网络作为高度局部化的范例记忆系统,恰好在动力学崩溃临界点前达到最优性能,为设计鲁棒的大规模检索系统提供了新见解。

0
下载
关闭预览

相关内容

国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月2日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
综述 | 世界动作模型:少做梦,多行动
专知会员服务
0+阅读 · 11分钟前
美以伊冲突:无人机与人工智能的运用
专知会员服务
1+阅读 · 23分钟前
《特种部队在透明战场中的生存力》最新报告
专知会员服务
1+阅读 · 43分钟前
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
相关资讯
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员