Low-rank matrix recovery is well-known to exhibit benign nonconvexity under the restricted isometry property (RIP): every second-order critical point is globally optimal, so local methods provably recover the ground truth. Motivated by the strong empirical performance of projected gradient methods for nonnegative low-rank recovery problems, we investigate whether this benign geometry persists when the factor matrices are constrained to be elementwise nonnegative. In the simple setting of a rank-1 nonnegative ground truth, we confirm that benign nonconvexity holds in the fully-observed case with RIP constant $δ=0$. This benign nonconvexity, however, is unstable. It fails to extend to the partially-observed case with any arbitrarily small RIP constant $δ>0$, and to higher-rank ground truths $r^{\star}>1$, regardless of how much the search rank $r\ge r^{\star}$ is overparameterized. Together, these results undermine the standard stability-based explanation for the empirical success of nonconvex methods and suggest that fundamentally different tools are needed to analyze nonnegative low-rank recovery.


翻译:众所周知,在受限等距性质(RIP)条件下,低秩矩阵恢复表现出良性的非凸性:每个二阶临界点都是全局最优的,因此局部方法可证明能恢复真实解。受投影梯度方法在非负低秩恢复问题中优异实证表现的启发,我们研究了当因子矩阵被约束为元素非负时,这种良性几何性质是否仍然存在。在秩为1的非负真实解这一简单设定下,我们证实了在完全观测情况下(RIP常数 $δ=0$)良性非凸性成立。然而,这种良性非凸性是不稳定的。它无法推广到具有任意小RIP常数 $δ>0$ 的部分观测情况,也无法推广到更高秩的真实解 $r^{\star}>1$,无论搜索秩 $r\ge r^{\star}$ 被过参数化到何种程度。这些结果共同削弱了基于稳定性的标准解释对于非凸方法实证成功的说服力,并表明分析非负低秩恢复问题需要 fundamentally different tools。

0
下载
关闭预览

相关内容

生成先验的信号恢复
专知会员服务
22+阅读 · 2023年1月5日
专知会员服务
39+阅读 · 2021年8月20日
专知会员服务
40+阅读 · 2021年5月30日
专知会员服务
46+阅读 · 2020年7月29日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
数据分析师应该知道的16种回归方法:负二项回归
数萃大数据
74+阅读 · 2018年9月16日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
Deep Image Prior——图像恢复入门
中国人工智能学会
15+阅读 · 2019年2月16日
数据分析师应该知道的16种回归方法:负二项回归
数萃大数据
74+阅读 · 2018年9月16日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员