The affine rank minimization (ARM) problem is well known for both its applications and the fact that it is NP-hard. One of the most successful approaches, yet arguably underrepresented, is iteratively reweighted least squares (IRLS), more specifically $\mathrm{IRLS}$-$0$. Despite comprehensive empirical evidence that it overall outperforms nuclear norm minimization and related methods, it is still not understood to a satisfying degree. In particular, the significance of a slow decrease of the therein appearing regularization parameter denoted $\gamma$ poses interesting questions. While commonly equated to matrix recovery, we here consider the ARM independently. We investigate the particular structure and global convergence property behind the asymptotic minimization of the log-det objective function on which $\mathrm{IRLS}$-$0$ is based. We expand on local convergence theorems, now with an emphasis on the decline of $\gamma$, and provide representative examples as well as counterexamples such as a diverging $\mathrm{IRLS}$-$0$ sequence that clarify theoretical limits. We present a data sparse, alternating realization $\mathrm{AIRLS}$-$p$ (related to prior work under the name $\mathrm{SALSA}$) that, along with the rest of this work, serves as basis and introduction to the more general tensor setting. In conclusion, numerical sensitivity experiments are carried out that reconfirm the success of $\mathrm{IRLS}$-$0$ and demonstrate that in surprisingly many cases, a slower decay of $\gamma$ will yet lead to a solution of the ARM problem, up to the point that the exact theoretical phase transition for generic recoverability can be observed. Likewise, this suggests that non-convexity is less substantial and problematic for the log-det approach than it might initially appear.


翻译:最小化(ARM)问题在应用中是众所周知的。 最成功的方法之一 — — 虽然代表率可能很低 — — 最明显 — — 美元。 最成功的方法之一 — — 最明显的是反复重标最小方块(IRLS ), 更具体地说是 $\ mathrm{IRLS} $ - 0美元。 尽管全面的经验证据表明,它总体上超过了核规范最小化和相关方法,但它仍然不能令人满意地理解。 特别是, 此处显示的正规化参数降幅($- gamma$ 表示的敏感度) 提出了有趣的问题。 虽然通常等同于矩阵恢复,但我们在这里独立考虑ARM 的过渡。 我们调查了在对日记目标函数最小化后的特定结构和全球趋同属性($- maylor_ IR) 的最小值最小化值 。 我们扩大本地的趋同值,现在强调美元下降, 并且提供有代表性的示例,比如变差 美元 IMLS 和 美元 的递增 。

0
下载
关闭预览

相关内容

专知会员服务
29+阅读 · 2021年8月2日
专知会员服务
16+阅读 · 2021年5月21日
专知会员服务
63+阅读 · 2020年3月4日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
已删除
生物探索
3+阅读 · 2018年2月10日
Arxiv
0+阅读 · 2021年8月31日
Arxiv
0+阅读 · 2021年8月30日
Arxiv
0+阅读 · 2021年8月28日
Arxiv
0+阅读 · 2021年8月26日
VIP会员
最新内容
超越网格:作战环境对炮兵的影响
专知会员服务
1+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
15+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
相关VIP内容
专知会员服务
29+阅读 · 2021年8月2日
专知会员服务
16+阅读 · 2021年5月21日
专知会员服务
63+阅读 · 2020年3月4日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
最新BERT相关论文清单,BERT-related Papers
专知会员服务
53+阅读 · 2019年9月29日
相关资讯
已删除
生物探索
3+阅读 · 2018年2月10日
Top
微信扫码咨询专知VIP会员