We consider the random number partitioning problem (\texttt{NPP}): given a list $X\sim \mathcal{N}(0,I_n)$ of numbers, find a partition $\sigma\in\{-1,1\}^n$ with a small objective value $H(\sigma)=\frac{1}{\sqrt{n}}\left|\langle \sigma,X\rangle\right|$. The \texttt{NPP} is widely studied in computer science; it is also closely related to the design of randomized controlled trials. In this paper, we propose a planted version of the \texttt{NPP}: fix a $\sigma^*$ and generate $X\sim \mathcal{N}(0,I_n)$ conditional on $H(\sigma^*)\le 3^{-n}$. The \texttt{NPP} and its planted counterpart are statistically distinguishable as the smallest objective value under the former is $\Theta(\sqrt{n}2^{-n})$ w.h.p. Our first focus is on the values of $H(\sigma)$. We show that, perhaps surprisingly, planting does not induce partitions with an objective value substantially smaller than $2^{-n}$: $\min_{\sigma \ne \pm \sigma^*}H(\sigma) = \widetilde{\Theta}(2^{-n})$ w.h.p. Furthermore, we completely characterize the smallest $H(\sigma)$ achieved at any fixed distance from $\sigma^*$. Our second focus is on the algorithmic problem of efficiently finding a partition $\sigma$, not necessarily equal to $\pm\sigma^*$, with a small $H(\sigma)$. We show that planted \texttt{NPP} exhibits an intricate geometrical property known as the multi Overlap Gap Property ($m$-OGP) for values $2^{-\Theta(n)}$. We then leverage the $m$-OGP to show that stable algorithms satisfying a certain anti-concentration property fail to find a $\sigma$ with $H(\sigma)=2^{-\Theta(n)}$. Our results are the first instance of the $m$-OGP being established and leveraged to rule out stable algorithms for a planted model. More importantly, they show that the $m$-OGP framework can also apply to planted models, if the algorithmic goal is to return a solution with a small objective value.


翻译:我们考虑随机数划分问题(\texttt{NPP}):给定一个列表$X\sim \mathcal{N}(0,I_n)$,寻找一个划分$\sigma\in\{-1,1\}^n$,使得目标函数$H(\sigma)=\frac{1}{\sqrt{n}}\left|\langle \sigma,X\rangle\right|$取值较小。\texttt{NPP}在计算机科学中被广泛研究,同时也与随机对照试验的设计密切相关。本文提出了\texttt{NPP}的植入版本:固定一个$\sigma^*$,在条件$H(\sigma^*)\le 3^{-n}$下生成$X\sim \mathcal{N}(0,I_n)$。由于原始问题中最小的目标函数值以高概率为$\Theta(\sqrt{n}2^{-n})$,\texttt{NPP}及其植入版本在统计上是可区分的。我们首先关注$H(\sigma)$的取值。令人惊讶的是,我们发现植入并不会导致与$\pm\sigma^*$不同的划分获得远小于$2^{-n}$的目标函数值:以高概率有$\min_{\sigma \ne \pm \sigma^*}H(\sigma) = \widetilde{\Theta}(2^{-n})$。此外,我们完整刻画了在距$\sigma^*$任意固定距离处所能达到的最小$H(\sigma)$值。其次,我们聚焦于高效寻找具有较小$H(\sigma)$的划分$\sigma$(不一定是$\pm\sigma^*$)的算法问题。研究表明,植入版\texttt{NPP}在值域$2^{-\Theta(n)}$上展现出一种称为多重重叠间隙性质($m$-OGP)的精细几何结构。我们利用这一$m$-OGP性质证明,满足特定反集中性质的稳定算法无法找到$H(\sigma)=2^{-\Theta(n)}$的划分$\sigma$。这是首次在植入模型中建立并利用$m$-OGP性质来排除稳定算法。更重要的是,这表明当算法目标是返回具有较小目标函数值的解时,$m$-OGP框架同样适用于植入模型。

0
下载
关闭预览

相关内容

【ACL2020】多模态信息抽取,365页ppt
专知会员服务
151+阅读 · 2020年7月6日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
【NeurIPS2019】图变换网络:Graph Transformer Network
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2023年11月10日
Arxiv
0+阅读 · 2023年11月10日
Arxiv
0+阅读 · 2023年11月8日
Arxiv
0+阅读 · 2023年11月8日
The Monadic Theory of Toric Words
Arxiv
0+阅读 · 2023年11月8日
Arxiv
0+阅读 · 2023年11月8日
Arxiv
14+阅读 · 2018年5月15日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
1+阅读 · 今天15:35
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
相关论文
Arxiv
0+阅读 · 2023年11月10日
Arxiv
0+阅读 · 2023年11月10日
Arxiv
0+阅读 · 2023年11月8日
Arxiv
0+阅读 · 2023年11月8日
The Monadic Theory of Toric Words
Arxiv
0+阅读 · 2023年11月8日
Arxiv
0+阅读 · 2023年11月8日
Arxiv
14+阅读 · 2018年5月15日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员