In this paper we obtain improved iteration complexities for solving $\ell_p$ regression. We provide methods which given any full-rank $\mathbf{A} \in \mathbb{R}^{n \times d}$ with $n \geq d$, $b \in \mathbb{R}^n$, and $p \geq 2$ solve $\min_{x \in \mathbb{R}^d} \left\|\mathbf{A} x - b\right\|_p$ to high precision in time dominated by that of solving $\widetilde{O}_p(d^{\frac{p-2}{3p-2}})$ linear systems in $\mathbf{A}^\top \mathbf{D} \mathbf{A}$ for positive diagonal matrices $\mathbf{D}$. This improves upon the previous best iteration complexity of $\widetilde{O}_p(n^{\frac{p-2}{3p-2}})$ (Adil, Kyng, Peng, Sachdeva 2019). As a corollary, we obtain an $\widetilde{O}(d^{1/3}\epsilon^{-2/3})$ iteration complexity for approximate $\ell_\infty$ regression. Further, for $q \in (1, 2]$ and dual norm $q = p/(p-1)$ we provide an algorithm that solves $\ell_q$ regression in $\widetilde{O}(d^{\frac{p-2}{2p-2}})$ iterations. To obtain this result we analyze row reweightings (closely inspired by $\ell_p$-norm Lewis weights) which allow a closer connection between $\ell_2$ and $\ell_p$ regression. We provide adaptations of two different iterative optimization frameworks which leverage this connection and yield our results. The first framework is based on iterative refinement and multiplicative weights based width reduction and the second framework is based on highly smooth acceleration. Both approaches yield $\widetilde{O}_p(d^{\frac{p-2}{3p-2}})$ iteration methods but the second has a polynomial dependence on $p$ (as opposed to the exponential dependence of the first algorithm) and provides a new alternative to the previous state-of-the-art methods for $\ell_p$ regression for large $p$.


翻译:在本文中,我们获得了更好的递增复杂性 解决 $\ ell_ plider2} mathbf{A} 我们提供的方法 给了任何全价 $\ mathb{R\ n d$ 美元, $\ mathb{ R\ 美元, $\ gq 2美元 美元 解决 $ ell_ ell_ lider2_ plix} left_ mathbf}A} x - bright} 美元到高精度 以 $\ mathb{ Rice{R_ 美元 美元= mathb} 美元, $\ mathb} $\ 美元= geqqx} 美元, 以正对比基底基底 $\ mathb=_ bread{ =D} 和以上下基基底的 $\\\ p\\\\\\\\ lix_ comma} 提供更精确的(n\ p\ p\ p\\\\\\\\ max_ max_ a syax max max max a broisal_ a bro)

0
下载
关闭预览

相关内容

专知会员服务
162+阅读 · 2020年1月16日
已删除
将门创投
4+阅读 · 2020年1月6日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Arxiv
0+阅读 · 2022年1月13日
Arxiv
7+阅读 · 2020年6月29日
VIP会员
相关资讯
已删除
将门创投
4+阅读 · 2020年1月6日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
Top
微信扫码咨询专知VIP会员