High-capacity associative memories based on Kernel Logistic Regression (KLR) exhibit strong storage capabilities, but the dynamical and geometric mechanisms underlying their stability remain poorly understood. This paper investigates the global geometry of attractor basins and the physical determinants of the storage limit in KLR-trained Hopfield networks. We combine empirical evaluations using random sequences and real-world image embeddings (CIFAR-10) with phenomenological morphing experiments and statistical Signal-to-Noise Ratio (SNR) analysis. Our experiments reveal that the network achieves a storage capacity for random sequences up to $P/N \approx 16$ , and maintains stable retrieval for structured data at effective loads near $P/N \approx 20$ . Through morphing analysis, we reveal that attractors on the "Ridge of Optimization" are separated by sharp, phase-transition-like boundaries, characterized by steep effective potential barriers and critical slowing down. Furthermore, by contrasting an SNR analysis with a geometric reference point inspired by Cover's theorem, we show that the ultimate storage limit is constrained primarily not by a lack of geometric separability in the feature space, but by the loss of dynamical stability against crosstalk noise. These findings suggest that KLR networks function as highly localized, exemplar-based memories that operate optimally just before the onset of dynamical collapse, providing new insights into the design of robust, large-scale retrieval systems.


翻译:基于核逻辑回归的高容量联想记忆模型展现出强大的存储能力,但其稳定性背后的动力学与几何机制尚不明确。本文研究了经核逻辑回归训练的霍普菲尔德网络中吸引子盆地全局几何结构及存储极限的物理决定因素。我们结合随机序列与真实图像嵌入(CIFAR-10)的实证评估、现象学形变实验及统计信噪比分析,揭示了网络在随机序列下的存储容量可达 $P/N \approx 16$,而对结构化数据在有效负载接近 $P/N \approx 20$ 时仍保持稳定检索。通过形变分析,我们发现在"优化脊"上的吸引子被尖锐的相变式边界分隔,其特征为陡峭的有效势垒与临界减速效应。此外,通过对比信噪比分析与基于Cover定理的几何参照点,我们证明存储极限主要受制于对串扰噪声的动力学稳定性丧失,而非特征空间几何可分离性的不足。这些发现表明核逻辑回归网络作为高度局部化的范例记忆系统,恰好在动力学崩溃临界点前达到最优性能,为设计鲁棒的大规模检索系统提供了新见解。

0
下载
关闭预览

相关内容

国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月2日
VIP会员
最新内容
边缘计算的军事应用
专知会员服务
6+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
8+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
13+阅读 · 8月7日
相关VIP内容
相关资讯
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员