We study potential presence of statistical-computational gaps (SCG) in symmetric binary perceptrons (SBP) via a parametric utilization of \emph{fully lifted random duality theory} (fl-RDT) [96]. A structural change from decreasingly to arbitrarily ordered $c$-sequence (a key fl-RDT parametric component) is observed on the second lifting level and associated with \emph{satisfiability} ($α_c$) -- \emph{algorithmic} ($α_a$) constraints density threshold change thereby suggesting a potential existence of a nonzero computational gap $SCG=α_c-α_a$. The second level estimate is shown to match the theoretical $α_c$ whereas the $r\rightarrow \infty$ level one is proposed to correspond to $α_a$. For example, for the canonical SBP ($κ=1$ margin) we obtain $α_c\approx 1.8159$ on the second and $α_a\approx 1.6021$ (with converging tendency towards $\sim 1.59$ range) on the seventh level. Our propositions remarkably well concur with recent literature: (i) in [20] local entropy replica approach predicts $α_{LE}\approx 1.58$ as the onset of clustering defragmentation (presumed driving force behind locally improving algorithms failures); (ii) in $α\rightarrow 0$ regime we obtain on the third lifting level $κ\approx 1.2385\sqrt{\frac{α_a}{-\log\left ( α_a \right ) }}$ which qualitatively matches overlap gap property (OGP) based predictions of [43] and identically matches local entropy based predictions of [24]; (iii) $c$-sequence ordering change phenomenology mirrors the one observed in asymmetric binary perceptron (ABP) in [98] and the negative Hopfield model in [100]; and (iv) as in [98,100], we here design a CLuP based algorithm whose practical performance closely matches proposed theoretical predictions.


翻译:我们通过参数化运用完全提升随机对偶理论(fl-RDT)[96]来研究对称二元感知机(SBP)中统计计算间隙(SCG)的潜在存在性。在第二提升层级上观察到c序列(fl-RDT的关键参数组件)从递减排序到任意排序的结构性变化,该变化与可满足性阈值(α_c)到算法阈值(α_a)的约束密度转变相关联,从而表明可能存在非零计算间隙SCG=α_c-α_a。第二层级的估计值与理论α_c相符,而r→∞层级的估计值被提出对应于α_a。例如,对于典型SBP(κ=1边界),我们在第二层级得到α_c≈1.8159,在第七层级得到α_a≈1.6021(呈现向∼1.59范围收敛的趋势)。我们的命题与近期文献高度吻合:(i)文献[20]中的局域熵复本方法预测α_LE≈1.58为聚类解离的起始点(推测为局部改进算法失效的驱动因素);(ii)在α→0区域,我们在第三提升层级得到κ≈1.2385√(α_a/(-log(α_a))),该结果在定性上与文献[43]基于重叠间隙特性(OGP)的预测相符,并与文献[24]基于局域熵的预测完全一致;(iii)c序列排序变化的现象学与文献[98]中非对称二元感知机(ABP)及文献[100]中负Hopfield模型观察到的现象相呼应;(iv)与文献[98,100]类似,我们在此设计了一种基于CLuP的算法,其实际性能与提出的理论预测高度匹配。

0
下载
关闭预览

相关内容

【MIT博士论文】非参数因果推理的算法方法,424页pdf
专知会员服务
84+阅读 · 2022年9月20日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
从信息瓶颈理论一瞥机器学习的“大一统理论”
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月26日
VIP会员
相关VIP内容
【MIT博士论文】非参数因果推理的算法方法,424页pdf
专知会员服务
84+阅读 · 2022年9月20日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员