Due to the iterative nature of most nonnegative matrix factorization (\textsc{NMF}) algorithms, initialization is a key aspect as it significantly influences both the convergence and the final solution obtained. Many initialization schemes have been proposed for NMF, among which one of the most popular class of methods are based on the singular value decomposition (SVD). However, these SVD-based initializations do not satisfy a rather natural condition, namely that the error should decrease as the rank of factorization increases. In this paper, we propose a novel SVD-based \textsc{NMF} initialization to specifically address this shortcoming by taking into account the SVD factors that were discarded to obtain a nonnegative initialization. This method, referred to as nonnegative SVD with low-rank correction (NNSVD-LRC), allows us to significantly reduce the initial error at a negligible additional computational cost using the low-rank structure of the discarded SVD factors. NNSVD-LRC has two other advantages compared to previous SVD-based initializations: (1) it provably generates sparse initial factors, and (2) it is faster as it only requires to compute a truncated SVD of rank $\lceil r/2 + 1 \rceil$ where $r$ is the factorization rank of the sought NMF decomposition (as opposed to a rank-$r$ truncated SVD for other methods). We show on several standard dense and sparse data sets that our new method competes favorably with state-of-the-art SVD-based initializations for NMF.


翻译:由于大多数非阴性矩阵系数化(\ textsc{NMFF})的迭接性,初始化是一个关键方面,因为它极大地影响趋同和最终解决方案,因此初始化是一个关键方面,因为初始化是一个关键方面,因为它极大地影响趋同和最终解决方案。许多初始化计划已经向NMF提出,其中最受欢迎的方法类别之一是以单值分解(SVD)为基础。然而,这些基于 SVD 的初始化方法并不满足一个相当自然的条件,即随着系数化等级的上升,错误应该减少。在本文中,我们提出一个新的基于 SVD 的系数值上升,以基于 SVVVV 的系数( tal- 递增 ), 因为它比先前的 SVD 和 最初的 S(1) 被丢弃SVD 的 SVD 因素( NNSVVD D- LRC ), 它被称为非内 SVD 低的 SVD 标准修正 ( NNSD 的计算成本小于微调 SVD 的 新的计算成本 。 NVD, NVD 最初的S- 和 的 Sration 的 Slation 的 Slation 的 Slation 和 的 Sl 的 Sl 的 S- 的 S- 的 S- S- 的 S- s- s- 的 S- s- 的 S- s- 的 S- 的 S- 的 S- 的 S- 的 S- 的 S- 的 S- 的 S- 的 的 S- 的 S- 的 的 的 的 S- 和 的 的 的 S- 的 S- 的 的 也 的 的 的 的 的 的 的 的 S- 的 S- 的 的 的 S- 、 的 的 的 的 的 的 的 的 的 和 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的 S- 的 的 的 的 的 的 的 的 的 的 的 的 的 的 的

0
下载
关闭预览

相关内容

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。在信号处理、统计学等领域有重要应用。
专知会员服务
43+阅读 · 2020年7月7日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
已删除
AI掘金志
7+阅读 · 2019年7月8日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
3+阅读 · 2018年10月18日
Arxiv
3+阅读 · 2017年10月1日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
18+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
6+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
8+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
5+阅读 · 11月6日
相关VIP内容
专知会员服务
43+阅读 · 2020年7月7日
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
已删除
AI掘金志
7+阅读 · 2019年7月8日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
ICLR2019最佳论文出炉
专知
12+阅读 · 2019年5月6日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员