In this paper, we introduce a randomized QLP decomposition called Rand-QLP. Operating on a matrix $\bf A$, Rand-QLP gives ${\bf A}={\bf QLP}^T$, where $\bf Q$ and $\bf P$ are orthonormal, and $\bf L$ is lower-triangular. Under the assumption that the rank of the input matrix is $k$, we derive several error bounds for Rand-QLP: bounds for the first $k$ approximate singular values and for the trailing block of the middle factor $\bf L$, which show that the decomposition is rank-revealing; bounds for the distance between approximate subspaces and the exact ones for all four fundamental subspaces of a given matrix; and bounds for the errors of low-rank approximations constructed by the columns of $\bf Q$ and $\bf P$. Rand-QLP is able to effectively leverage modern computational architectures, due to the utilization of random sampling and the unpivoted QR decomposition, thus addressing a serious bottleneck associated with classical algorithms such as the singular value decomposition (SVD), column-pivoted QR (CPQR) and most recent matrix decomposition algorithms. To assess the performance behavior of different algorithms, we use an Intel Xeon Gold 6240 CPU running at 2.6 GHz with a NVIDIA GeForce RTX 2080Ti GPU. In comparison to CPQR and the SVD, Rand-QLP respectively achieves a speedup of up to 5 times and 6.6 times on the CPU and up to 3.8 times and 4.4 times with the hybrid GPU architecture. In terms of quality of approximation, our results on synthetic and real data show that the approximations by Rand-QLP are comparable to those of pivoted QLP and the optimal SVD, and in most cases are considerably better than those of CPQR.


翻译:本文提出了一种名为Rand-QLP的随机QLP分解算法。该算法作用于矩阵$\bf A$,得到${\bf A}={\bf QLP}^T$,其中$\bf Q$和$\bf P$是正交矩阵,$\bf L$是下三角矩阵。在输入矩阵秩为$k$的假设下,我们推导了Rand-QLP的若干误差界:前$k$个近似奇异值的误差界以及中间因子$\bf L$尾部块的误差界,表明该分解具有秩揭示性质;对于给定矩阵的四个基本子空间,近似子空间与精确子空间之间距离的误差界;以及由$\bf Q$和$\bf P$的列构建的低秩近似的误差界。Rand-QLP通过利用随机采样和无主元QR分解,能够有效利用现代计算架构,从而解决了传统算法(如奇异值分解(SVD)、列主元QR分解(CPQR)及最新矩阵分解算法)中的严重瓶颈问题。为评估不同算法的性能表现,我们使用了运行在2.6 GHz的Intel Xeon Gold 6240 CPU和NVIDIA GeForce RTX 2080Ti GPU。与CPQR和SVD相比,Rand-QLP在CPU上分别实现了最高5倍和6.6倍的加速,在使用混合GPU架构时则分别达到3.8倍和4.4倍的加速。在近似质量方面,我们在合成数据和真实数据上的结果表明,Rand-QLP的近似结果与主元QLP及最优SVD相当,且在大多数情况下明显优于CPQR。

0
下载
关闭预览

相关内容

奇异值分解(Singular Value Decomposition)是线性代数中一种重要的矩阵分解,奇异值分解则是特征分解在任意矩阵上的推广。在信号处理、统计学等领域有重要应用。
专知会员服务
52+阅读 · 2020年12月14日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
专知会员服务
162+阅读 · 2020年1月16日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
VCIP 2022 Call for Special Session Proposals
CCF多媒体专委会
1+阅读 · 2022年4月1日
IEEE ICKG 2022: Call for Papers
机器学习与推荐算法
3+阅读 · 2022年3月30日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
IEEE TII Call For Papers
CCF多媒体专委会
3+阅读 · 2022年3月24日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 59分钟前
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
专知会员服务
52+阅读 · 2020年12月14日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
专知会员服务
162+阅读 · 2020年1月16日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
相关资讯
VCIP 2022 Call for Demos
CCF多媒体专委会
1+阅读 · 2022年6月6日
VCIP 2022 Call for Special Session Proposals
CCF多媒体专委会
1+阅读 · 2022年4月1日
IEEE ICKG 2022: Call for Papers
机器学习与推荐算法
3+阅读 · 2022年3月30日
ACM MM 2022 Call for Papers
CCF多媒体专委会
5+阅读 · 2022年3月29日
IEEE TII Call For Papers
CCF多媒体专委会
3+阅读 · 2022年3月24日
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员