The $2 \rightarrow q$ norm of a matrix $X \in \mathbb{R}^{n \times d}$ is defined as $\lVert X \rVert_{2 \rightarrow q} = \sup_{\lVert v \rVert_2 = 1} \lVert Xv \rVert_q$. We give polynomial-time multiplicative approximation algorithms for this norm when $q > 2$ (i.e. in the hypercontractive setting). This problem either directly captures or is closely related to long-standing open problems in combinatorial optimization and hardness of approximation (e.g. Small Set Expansion), quantum information (e.g. Best Separable State), and algorithmic statistics. Very little is known about what approximation factors we can achieve for this problem in polynomial time, even though such approximations have significant downstream consequences. Barak, Brandão, Harrow, Kelner, Steurer, and Zhou showed that no polynomial-time algorithm can achieve an approximation factor better than $2^{\sqrt{\log n}}$, assuming the Exponential Time Hypothesis (FOCS'12). On the other hand, a simple spectral algorithm gives a $d^{1/4}$-approximation as a baseline. We give, to the best of our knowledge, the first polynomial-time approximation algorithm beating this baseline by polynomial factors. For the important special case of $q = 4$ it achieves a $d^{1/8}$-approximation. All previous algorithms required additional assumptions on $X$, or only surpassed the baseline for small values of $n$. Moreover, we construct sum-of-squares certificates for the $2 \rightarrow q$ norm. This directly implies improved algorithms for robust mean and covariance estimation, robust regression, and clustering, when the data only satisfies a bound on its $q$-th moment.


翻译:矩阵$X \in \mathbb{R}^{n \times d}$的$2 \rightarrow q$范数定义为$\lVert X \rVert_{2 \rightarrow q} = \sup_{\lVert v \rVert_2 = 1} \lVert Xv \rVert_q$。我们针对$q > 2$的情形(即超压缩设定)给出了该范数的多项式时间乘性逼近算法。该问题要么直接对应、要么与组合优化和近似难度(例如小集扩张)、量子信息(例如最佳可分离态)以及算法统计学中长期存在的开放问题密切相关。关于在多项式时间内对该问题能达到何种逼近因子,目前所知甚少,尽管此类逼近具有重要的下游应用。Barak、Brandão、Harrow、Kelner、Steurer和Zhou证明,假设指数时间假说成立(FOCS'12),则不存在多项式时间算法能实现优于$2^{\sqrt{\log n}}$的逼近因子。另一方面,作为基线,一个简单的谱算法可达到$d^{1/4}$逼近。据我们所知,我们首次给出了多项式时间逼近算法,能够以多项式因子超越该基线。对于$q = 4$这一重要特例,该算法实现了$d^{1/8}$逼近。此前所有算法要么需要对$X$施加额外假设,要么仅能在$n$较小时超越基线。此外,我们为$2 \rightarrow q$范数构造了平方和证书。当数据仅满足$q$阶矩有界条件时,这直接改进了鲁棒均值和协方差估计、鲁棒回归以及聚类问题的算法。

0
下载
关闭预览

相关内容

【中科大】数值计算方法扩充课程,116页pdf
专知会员服务
84+阅读 · 2022年1月7日
pytorch中六种常用的向量相似度评估方法
极市平台
22+阅读 · 2021年12月9日
强化学习开篇:Q-Learning原理详解
AINLP
37+阅读 · 2020年7月28日
Seq2seq强化,Pointer Network简介
机器学习算法与Python学习
15+阅读 · 2018年12月8日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
用于数学的 10 个优秀编程语言
算法与数据结构
13+阅读 · 2018年1月5日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
《边缘计算关键技术分析及美军作战实践应用》
专知会员服务
0+阅读 · 今天14:08
边缘计算的军事应用
专知会员服务
1+阅读 · 今天13:50
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
4+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
10+阅读 · 8月7日
相关VIP内容
【中科大】数值计算方法扩充课程,116页pdf
专知会员服务
84+阅读 · 2022年1月7日
相关资讯
pytorch中六种常用的向量相似度评估方法
极市平台
22+阅读 · 2021年12月9日
强化学习开篇:Q-Learning原理详解
AINLP
37+阅读 · 2020年7月28日
Seq2seq强化,Pointer Network简介
机器学习算法与Python学习
15+阅读 · 2018年12月8日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
用于数学的 10 个优秀编程语言
算法与数据结构
13+阅读 · 2018年1月5日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
Spark机器学习:矩阵及推荐算法
LibRec智能推荐
16+阅读 · 2017年8月3日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员