We propose a deterministic Kaczmarz algorithm for solving linear systems $A\x=\b$. Different from previous Kaczmarz algorithms, we use reflections in each step of the iteration. This generates a series of points distributed with patterns on a sphere centered at a solution. Firstly, we prove that taking the average of $O(\eta/\epsilon)$ points leads to an effective approximation of the solution up to relative error $\epsilon$, where $\eta$ is a parameter depending on $A$ and can be bounded above by the square of the condition number. We also show how to select these points efficiently. From the numerical tests, our Kaczmarz algorithm usually converges more quickly than the (block) randomized Kaczmarz algorithms. Secondly, when the linear system is consistent, the Kaczmarz algorithm returns the solution that has the minimal distance to the initial vector. This gives a method to solve the least-norm problem. Finally, we prove that our Kaczmarz algorithm indeed solves the linear system $A^TW^{-1}A \x = A^TW^{-1} \b$, where $W$ is the low-triangular matrix such that $W+W^T=2AA^T$. The relationship between this linear system and the original one is studied.


翻译:我们为解决线性系统建议了一个确定性的卡兹马兹算法 $A\x ⁇ b$。 不同于先前的卡兹马兹算法, 我们在迭代的每个步骤中都使用反射。 这产生了一系列点分布在以解决方案为中心的一个球体上的图案。 首先, 我们证明, 以美元( eta/\\ epsilon) 点的平均值来将解决方案有效接近于相对的错误 $\ epslon$。 美元( eta$) 是一个取决于$A 的参数, 并且可以被条件编号的正方形所约束。 我们还展示了如何有效地选择这些点 。 从数字测试中, 我们的卡兹马兹算算算法通常比( block) 随机化的卡兹马兹运算法更快地集中。 其次, 如果线性系统一致, 卡兹马兹算法返回了与初始矢量最小距离的解决方案。 这提供了解决原始问题的方法 。 最后, 我们证明我们的卡兹马兹算算算确实解决了直线性系统$$$A_A_W_1x_____________________________________________

0
下载
关闭预览

相关内容

【经典书】C语言傻瓜式入门(第二版),411页pdf
专知会员服务
54+阅读 · 2020年8月16日
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
保序最优传输:Order-preserving Optimal Transport
我爱读PAMI
6+阅读 · 2018年9月16日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
VIP会员
相关资讯
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
保序最优传输:Order-preserving Optimal Transport
我爱读PAMI
6+阅读 · 2018年9月16日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员