This work studies information-computation gaps for statistical problems. A common approach for providing evidence of such gaps is to show sample complexity lower bounds (that are stronger than the information-theoretic optimum) against natural models of computation. A popular such model in the literature is the family of low-degree polynomial tests. While these tests are defined in such a way that make them easy to analyze, the class of algorithms that they rule out is somewhat restricted. An important goal in this context has been to obtain lower bounds against the stronger and more natural class of low-degree Polynomial Threshold Function (PTF) tests, i.e., any test that can be expressed as comparing some low-degree polynomial of the data to a threshold. Proving lower bounds against PTF tests has turned out to be challenging. Indeed, we are not aware of any non-trivial PTF testing lower bounds in the literature. In this paper, we establish the first non-trivial PTF testing lower bounds for a range of statistical tasks. Specifically, we prove a near-optimal PTF testing lower bound for Non-Gaussian Component Analysis (NGCA). Our NGCA lower bound implies similar lower bounds for a number of other statistical problems. Our proof leverages a connection to recent work on pseudorandom generators for PTFs and recent techniques developed in that context. At the technical level, we develop several tools of independent interest, including novel structural results for analyzing the behavior of low-degree polynomials restricted to random directions.


翻译:本研究探讨统计问题中的信息-计算间隙。为证明此类间隙存在,常见方法是针对自然计算模型展示样本复杂度下界(强于信息论最优值)。文献中一类流行的模型是低次多项式检验族。尽管这些检验的定义便于分析,它们所排除的算法类别仍有一定局限性。该领域的一个重要目标是针对更强且更自然的低次多项式阈值函数(PTF)检验类获得下界,即任何可表示为将数据的某个低次多项式与阈值进行比较的检验。证明针对PTF检验的下界已被证明具有挑战性。事实上,我们尚未在文献中发现任何非平凡的PTF检验下界。本文针对一系列统计任务,首次建立了非平凡的PTF检验下界。具体而言,我们为非高斯成分分析(NGCA)证明了近乎最优的PTF检验下界。该NGCA下界可推导出多个其他统计问题的类似下界。我们的证明利用了与PTF伪随机生成器近期研究的关联,并结合了该领域发展的最新技术。在技术层面,我们开发了多个具有独立价值的工具,包括用于分析受限随机方向低次多项式行为的新颖结构结果。

0
下载
关闭预览

相关内容

【CIKM2020】多模态知识图谱推荐系统,Multi-modal KG for RS
专知会员服务
98+阅读 · 2020年8月24日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2025年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员