The Randomized Kaczmarz method (RK) is a stochastic iterative method for solving linear systems that has recently grown in popularity due to its speed and low memory requirement. Selectable Set Randomized Kaczmarz (SSRK) is an variant of RK that leverages existing information about the Kaczmarz iterate to identify an adaptive ``selectable set'' and thus yields an improved convergence guarantee. In this paper, we propose a general perspective for selectable set approaches and prove a convergence result for that framework. In addition, we define two specific selectable set sampling strategies that have competitive convergence guarantees to those of other variants of RK. One selectable set sampling strategy leverages information about the previous iterate, while the other leverages the orthogonality structure of the problem via the Gramian matrix. We complement our theoretical results with numerical experiments that compare our proposed rules with those existing in the literature.


翻译:随机的 Kaczmarz 方法( RK) 是解决线性系统的一种随机迭代方法, 最近由于速度和内存要求低而越来越受欢迎。 选择的 Set 随机化 Kaczmarz (SSRK) 是RK 的变体, 利用关于 Kaczmarz 循环的现有信息来确定适应性“ 可选择的一组”, 从而产生更好的趋同保证。 在本文件中, 我们为可选择的一套办法提出了一个总体观点, 并证明这个框架的趋同结果。 此外, 我们定义了两种具体的可选择的成套抽样战略, 与RK的其他变体具有竞争性的趋同保证。 一种可选择的抽样战略利用关于前一个变体的信息, 而其他的抽样战略则利用格拉姆矩阵来利用问题的正方形结构。 我们的理论结果是用数字实验来补充我们的理论结果, 将我们提议的规则与文献中的现有规则进行比较。

0
下载
关闭预览

相关内容

专知会员服务
16+阅读 · 2021年8月13日
【干货书】数值Python计算,Numerical Python,709页pdf
专知会员服务
116+阅读 · 2021年5月30日
【干货书】机器学习速查手册,135页pdf
专知会员服务
128+阅读 · 2020年11月20日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年12月3日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
最新内容
无人机自主控制与人工智能:系统性综述
专知会员服务
6+阅读 · 今天7:25
巡飞弹与反无人机系统——现代战场的两大支柱
专知会员服务
2+阅读 · 今天6:54
《打造“黄金舰队”》57页报告
专知会员服务
1+阅读 · 今天6:52
《北约数字教官网络发展路径》128页报告
专知会员服务
1+阅读 · 今天6:33
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
6+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
7+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
《国防领域敏感性分析白皮书》
专知会员服务
9+阅读 · 6月25日
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
10+阅读 · 6月24日
Agentic RL:框架、实践与长程智能体训练
专知会员服务
10+阅读 · 6月24日
相关资讯
Top
微信扫码咨询专知VIP会员