We study the robust recovery of a low-rank matrix from sparsely and grossly corrupted Gaussian measurements, with no prior knowledge on the intrinsic rank. We consider the robust matrix factorization approach. We employ a robust $\ell_1$ loss function and deal with the challenge of the unknown rank by using an overspecified factored representation of the matrix variable. We then solve the associated nonconvex nonsmooth problem using a subgradient method with diminishing stepsizes. We show that under a regularity condition on the sensing matrices and corruption, which we call restricted direction preserving property (RDPP), even with rank overspecified, the subgradient method converges to the exact low-rank solution at a sublinear rate. Moreover, our result is more general in the sense that it automatically speeds up to a linear rate once the factor rank matches the unknown rank. On the other hand, we show that the RDPP condition holds under generic settings, such as Gaussian measurements under independent or adversarial sparse corruptions, where the result could be of independent interest. Both the exact recovery and the convergence rate of the proposed subgradient method are numerically verified in the overspecified regime. Moreover, our experiment further shows that our particular design of diminishing stepsize effectively prevents overfitting for robust recovery under overparameterized models, such as robust matrix sensing and learning robust deep image prior. This regularization effect is worth further investigation.


翻译:我们研究从稀少和严重腐败的高斯测算中强有力地恢复低等级矩阵,对内在等级没有先入为主的知识。我们考虑稳健的矩阵因子化方法。我们采用强力的 $ ell_ 1$ 损耗功能,并通过使用一个超特定因子代号来应对未知等级的挑战。然后,我们用一个低等级方法,以逐步递减的方式,解决相关的非convex非世俗问题。我们显示,在感测矩阵和腐败的常规条件下,我们称之为限制方向,保护财产(RDPP),即使级别高于规定,次等级方法也与精确的低等级解决方案相交汇。此外,我们的结果更为普遍,即一旦因因因子代号相匹配而自动加速到直线性比率。另一方面,我们显示,RPPP的条件在一般环境之下,例如独立或对抗性稀薄的戈斯测算,其结果可能是独立的。 拟议的次级化方法的准确恢复价值和趋同率,以亚直线速率速化方法,以亚直线速化方法为基础,使我们的恢复率化后,在更精确的模型下进行。

0
下载
关闭预览

相关内容

【经典书】凸优化:算法与复杂度,130页pdf
专知会员服务
81+阅读 · 2021年11月16日
专知会员服务
42+阅读 · 2021年4月2日
专知会员服务
144+阅读 · 2021年3月17日
【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
《可解释的机器学习-interpretable-ml》238页pdf
专知会员服务
210+阅读 · 2020年2月24日
已删除
将门创投
4+阅读 · 2018年6月1日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
1+阅读 · 2021年11月15日
Arxiv
0+阅读 · 2021年11月15日
Arxiv
0+阅读 · 2021年11月12日
Arxiv
3+阅读 · 2018年10月18日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
最新内容
【伯克利博士论文】基于动作分块策略的强化学习
Transformer增强强化学习:通信网络基础与应用综述
ICML 2026 | SARDI:扩散语言模型的自增强检索
专知会员服务
5+阅读 · 6月6日
《国防领域安全采用大语言模型的战略蓝图》
专知会员服务
9+阅读 · 6月6日
ICML 2026 | 演化选择的因果建模
专知会员服务
9+阅读 · 6月5日
综述|学习式3D表征最新进展与趋势
专知会员服务
7+阅读 · 6月5日
人工智能重塑威慑:算法优势的兴起
专知会员服务
9+阅读 · 6月5日
相关资讯
已删除
将门创投
4+阅读 · 2018年6月1日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员