We study the critical window of the symmetric binary perceptron, or equivalently, combinatorial discrepancy. Consider the problem of finding a binary vector $\sigma$ satisfying $\|A\sigma\|_\infty \le K$, where $A$ is an $\alpha n \times n$ matrix with iid Gaussian entries. For fixed $K$, at which densities $\alpha$ is this constraint satisfaction problem (CSP) satisfiable? A sharp threshold was recently established by Perkins and Xu, and Abbe, Li, and Sly , answering this to first order. Namely, for each $K$ there exists an explicit critical density $\alpha_c$ so that for any fixed $\epsilon > 0$, with high probability the CSP is satisfiable for $\alpha n < (\alpha_c - \epsilon ) n$ and unsatisfiable for $\alpha n > (\alpha_c + \epsilon) n$. This corresponds to a bound of $o(n)$ on the size of the critical window. We sharpen these results significantly, as well as provide exponential tail bounds. Our main result is that, perhaps surprisingly, the critical window is actually at most $O(\log n)$. More precisely, with high probability the CSP is satisfiable for $\alpha n < \alpha_c n -O(\log n)$ and unsatisfiable for any $\alpha n > \alpha_c n + \omega(1)$. This implies the symmetric perceptron has nearly the "sharpest possible transition," adding it to a short list of CSP for which the critical window is rigorously known to be of near-constant width.


翻译:我们研究了对称二元感知器(等价于组合差异问题)的临界窗口。考虑寻找满足 $\|A\sigma\|_\infty \le K$ 的二元向量 $\sigma$ 的问题,其中 $A$ 是一个元素独立同分布于标准高斯分布的 $\alpha n \times n$ 矩阵。对于固定的 $K$,该约束满足问题在何种密度 $\alpha$ 下可满足?Perkins 与 Xu 以及 Abbe、Li 与 Sly 最近建立了一个尖锐阈值,给出了该问题的一阶回答:对于每个 $K$,存在一个显式临界密度 $\alpha_c$,使得对任意固定 $\epsilon > 0$,当 $\alpha n < (\alpha_c - \epsilon)n$ 时约束满足问题高概率可满足,而当 $\alpha n > (\alpha_c + \epsilon)n$ 时高概率不可满足。这对应临界窗口大小为 $o(n)$。我们显著改进了这些结果,并给出了指数型尾部界。我们的主要结果是:令人意外的是,临界窗口实际上至多为 $O(\log n)$。更精确地说,当 $\alpha n < \alpha_c n - O(\log n)$ 时约束满足问题高概率可满足,而当 $\alpha n > \alpha_c n + \omega(1)$ 时高概率不可满足。这表明对称感知器具有近乎"最尖锐的相变",使其成为临界窗口被严格证明为近似恒定宽度的少数约束满足问题之一。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2023年9月29日
Arxiv
0+阅读 · 2023年9月28日
Arxiv
66+阅读 · 2021年6月18日
Arxiv
13+阅读 · 2021年5月25日
Arxiv
49+阅读 · 2021年5月9日
Arxiv
10+阅读 · 2018年4月19日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
相关论文
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员