Low-rank matrix completion consists of computing a matrix of minimal complexity that recovers a given set of observations as accurately as possible. Unfortunately, existing methods for matrix completion are heuristics that, while highly scalable and often identifying high-quality solutions, do not provide an instance-wise certificate of optimality. We reexamine matrix completion with an optimality-oriented eye. We reformulate low-rank matrix completion problems as convex problems over the non-convex set of projection matrices and implement a disjunctive branch-and-bound scheme that solves them to certifiable optimality. Further, we derive a novel and often near-exact class of convex relaxations by decomposing a low-rank matrix as a sum of rank-one matrices and incentivizing that two-by-two minors in each rank-one matrix have determinant zero. In numerical experiments, our new convex relaxations decrease the optimality gap by two orders of magnitude compared to existing attempts, and our disjunctive branch-and-bound scheme solves $n \times m$ rank-$k$ matrix completion problems to certifiable optimality or near optimality in hours for $\max \{m, n\} \leq 2500$ and $k \leq 5$. Moreover, this reduction in the training error translates into an average $2\%$--$50\%$ reduction in the test set error compared with alternating minimization-based methods.


翻译:低秩矩阵补全旨在计算一个复杂度最小的矩阵,以尽可能准确地恢复给定观测集。然而,现有的矩阵补全方法均为启发式算法,虽然具有高度可扩展性且通常能识别高质量解,但无法提供实例层面的最优性证明。本文以最优性为导向重新审视矩阵补全问题。我们将低秩矩阵补全问题重新表述为在非凸投影矩阵集上的凸优化问题,并实现了一种析取分支定界方案,可求解至可证明的最优性。此外,通过将低秩矩阵分解为多个秩一矩阵之和,并激励每个秩一矩阵中的二阶子式行列式为零,我们推导出一类新颖且通常近乎精确的凸松弛方法。数值实验表明,与现有尝试相比,我们的新凸松弛方法将最优性间隙降低了两个数量级;对于 $\max \{m, n\} \leq 2500$ 且 $k \leq 5$ 的 $n \times m$ 秩-$k$ 矩阵补全问题,我们的析取分支定界方案可在数小时内求解至可证明的最优解或近似最优解。此外,与基于交替最小化的方法相比,训练误差的降低可转化为测试集误差平均减少 $2\%$--$50\%$。

0
下载
关闭预览

相关内容

专知会员服务
46+阅读 · 2020年7月29日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
最新内容
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
0+阅读 · 20分钟前
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
21+阅读 · 4月29日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员