In the numerical linear algebra community, it was suggested that to obtain nearly optimal bounds for various problems such as rank computation, finding a maximal linearly independent subset of columns (a basis), regression, or low-rank approximation, a natural way would be to resolve the main open question of Nelson and Nguyen (FOCS, 2013). This question is regarding the logarithmic factors in the sketching dimension of existing oblivious subspace embeddings that achieve constant-factor approximation. We show how to bypass this question using a refined sketching technique, and obtain optimal or nearly optimal bounds for these problems. A key technique we use is an explicit mapping of Indyk based on uncertainty principles and extractors, which after first applying known oblivious subspace embeddings, allows us to quickly spread out the mass of the vector so that sampling is now effective. We thereby avoid a logarithmic factor in the sketching dimension that is standard in bounds proven using the matrix Chernoff inequality. For the fundamental problems of rank computation and finding a basis, our algorithms improve Cheung, Kwok, and Lau (JACM, 2013), and are optimal to within a constant factor and a poly(log log(n))-factor, respectively. Further, for constant-factor regression and low-rank approximation we give the first optimal algorithms, for the current matrix multiplication exponent.


翻译:在数字线性代数群中,有人提议,要为诸如排名计算等各种问题获得近乎最佳的最佳界限,找到最大线性独立的列子子集(基础)、回归或低级近似,自然的方法将是解决Nelson和Nguyen(FOCS,2013年)的主要未决问题(FOCS,2013年),这个问题涉及现有隐蔽的子空间嵌入层的草图层面的对数因素,这些隐含的细空嵌入层实现了恒定点近似常数。我们展示了如何使用精细化的草图技术绕过这一问题,并找到解决这些问题的最佳或近似最佳界限。我们使用的一种关键技术是根据不确定性原则和提取器对印地克进行清晰的绘图,在首次应用已知的隐蔽子空间嵌入器后,让我们迅速将矢量迅速扩散,以便现在能够有效采样。我们避免了以Chernoff 矩阵不平等为标准的草图层面的对数要素的对数因素。对于等级计算和寻找基础的根本问题,我们所使用的算法改进了张、Kwok和Lau(JACM,2013年)的精确度模型和最优化的对数级和最优化的对数级分析。

0
下载
关闭预览

相关内容

【硬核书】矩阵代数基础,248页pdf
专知会员服务
88+阅读 · 2021年12月9日
专知会员服务
78+阅读 · 2021年3月16日
专知会员服务
51+阅读 · 2020年12月14日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
lightgbm algorithm case of kaggle(上)
R语言中文社区
8+阅读 · 2018年3月20日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
Arxiv
0+阅读 · 2022年1月5日
Arxiv
9+阅读 · 2021年6月21日
Arxiv
3+阅读 · 2018年10月18日
VIP会员
相关VIP内容
【硬核书】矩阵代数基础,248页pdf
专知会员服务
88+阅读 · 2021年12月9日
专知会员服务
78+阅读 · 2021年3月16日
专知会员服务
51+阅读 · 2020年12月14日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
相关资讯
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Soft-NMS – Improving Object Detection With One Line of Code
统计学习与视觉计算组
6+阅读 · 2018年3月30日
lightgbm algorithm case of kaggle(上)
R语言中文社区
8+阅读 · 2018年3月20日
【推荐】SVM实例教程
机器学习研究会
17+阅读 · 2017年8月26日
相关论文
Arxiv
0+阅读 · 2022年1月5日
Arxiv
9+阅读 · 2021年6月21日
Arxiv
3+阅读 · 2018年10月18日
Top
微信扫码咨询专知VIP会员