The study of accelerated gradient methods in Riemannian optimization has recently witnessed notable progress. However, in contrast with the Euclidean setting, a systematic understanding of acceleration is still lacking in the Riemannian setting. We revisit the \emph{Accelerated Hybrid Proximal Extragradient} (A-HPE) method of \citet{monteiro2013accelerated}, a powerful framework for obtaining accelerated Euclidean methods. Subsequently, we propose a Riemannian version of A-HPE. The basis of our analysis of Riemannian A-HPE is a set of insights into Euclidean A-HPE, which we combine with a careful control of distortion caused by Riemannian geometry. We describe a number of Riemannian accelerated gradient methods as concrete instances of our framework.


翻译:最近,里曼尼优化中加速梯度方法的研究取得了显著进展,然而,与欧几里德环境相比,里曼环境仍缺乏对加速度的系统理解。我们重新审视了里曼环境的加速混合加速性超强度方法(A-HPE),这是获得加速欧几里德方法的强大框架。随后,我们提议了里曼环境的A-HPE版本。我们分析里曼环境的A-HPE的基础就是一套对欧几里德环境的深入了解,我们结合了对里曼地貌学造成的扭曲的审慎控制。我们把里曼加速梯度方法描述为我们框架的具体实例。

0
下载
关闭预览

相关内容

专知会员服务
52+阅读 · 2021年8月8日
专知会员服务
52+阅读 · 2020年12月14日
已删除
将门创投
6+阅读 · 2018年12月3日
Arxiv
6+阅读 · 2021年6月24日
Arxiv
3+阅读 · 2017年12月1日
VIP会员
最新内容
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
7+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
13+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
边缘计算的军事应用
专知会员服务
12+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
13+阅读 · 8月8日
相关VIP内容
专知会员服务
52+阅读 · 2021年8月8日
专知会员服务
52+阅读 · 2020年12月14日
相关资讯
已删除
将门创投
6+阅读 · 2018年12月3日
Top
微信扫码咨询专知VIP会员