Yang et al. (2023) recently addressed the open problem of solving Variational Inequalities (VIs) with equality and inequality constraints through a first-order gradient method. However, the proposed primal-dual method called ACVI is applicable when we can compute analytic solutions of its subproblems; thus, the general case remains an open problem. In this paper, we adopt a warm-starting technique where we solve the subproblems approximately at each iteration and initialize the variables with the approximate solution found at the previous iteration. We prove its convergence and show that the gap function of the last iterate of this inexact-ACVI method decreases at a rate of $\mathcal{O}(\frac{1}{\sqrt{K}})$ when the operator is $L$-Lipschitz and monotone, provided that the errors decrease at appropriate rates. Interestingly, we show that often in numerical experiments, this technique converges faster than its exact counterpart. Furthermore, for the cases when the inequality constraints are simple, we propose a variant of ACVI named P-ACVI and prove its convergence for the same setting. We further demonstrate the efficacy of the proposed methods through numerous experiments. We also relax the assumptions in Yang et al., yielding, to our knowledge, the first convergence result that does not rely on the assumption that the operator is $L$-Lipschitz. Our source code is provided at $\texttt{https://github.com/mpagli/Revisiting-ACVI}$.


翻译:Yang等人(2023)近期通过一阶梯度方法解决了带有等式与不等式约束的变分不等式(VI)这一开放问题。然而,他们提出的原始-对偶方法ACVI仅适用于子问题可求得解析解的情形,因此一般情形下的求解仍是开放问题。本文采用热启动技术:每次迭代中近似求解子问题,并用前一次迭代得到的近似解初始化变量。我们证明了该方法的收敛性,并表明当算子为$L$-Lipschitz且单调时,该非精确ACVI方法末次迭代的间隙函数下降率为$\mathcal{O}(\frac{1}{\sqrt{K}})$,前提是误差项以适当速率递减。有趣的是,数值实验表明该技术的收敛速度通常优于精确版本。此外,针对不等式约束为简单约束的情形,我们提出ACVI的变体P-ACVI,并在相同设定下证明其收敛性。通过大量实验验证了所提方法的有效性。我们还放宽了Yang等人中的假设条件,据我们所知,首次得到了不依赖算子$L$-Lipschitz假设的收敛结果。源代码已公开于$\texttt{https://github.com/mpagli/Revisiting-ACVI}$。

0
下载
关闭预览

相关内容

【简明书册】(随机)梯度方法的收敛定理手册,68页pdf
专知会员服务
39+阅读 · 2023年1月31日
【硬核书】稀疏多项式优化:理论与实践,220页pdf
专知会员服务
73+阅读 · 2022年9月30日
NeurIPS 2021 | 用简单的梯度下降算法逃离鞍点
专知会员服务
24+阅读 · 2021年12月6日
专知会员服务
52+阅读 · 2020年12月14日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
66+阅读 · 2020年10月20日
49篇ICLR2020高分「图机器学习GML」接受论文及代码
专知会员服务
62+阅读 · 2020年1月18日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
神经网络的损失函数为什么是非凸的?
极市平台
12+阅读 · 2019年9月26日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
样本贡献不均:Focal Loss和 Gradient Harmonizing Mechanism
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月17日
Arxiv
0+阅读 · 2023年5月17日
Arxiv
0+阅读 · 2023年5月17日
VIP会员
最新内容
KDD 2026 | MixRAGRec:面向LLM推荐的混合专家KG-RAG框架
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
4+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
战略前沿人工智能的再思考(中文)
专知会员服务
8+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
7+阅读 · 5月29日
相关VIP内容
【简明书册】(随机)梯度方法的收敛定理手册,68页pdf
专知会员服务
39+阅读 · 2023年1月31日
【硬核书】稀疏多项式优化:理论与实践,220页pdf
专知会员服务
73+阅读 · 2022年9月30日
NeurIPS 2021 | 用简单的梯度下降算法逃离鞍点
专知会员服务
24+阅读 · 2021年12月6日
专知会员服务
52+阅读 · 2020年12月14日
近期必读的七篇NeurIPS 2020【对比学习】相关论文和代码
专知会员服务
66+阅读 · 2020年10月20日
49篇ICLR2020高分「图机器学习GML」接受论文及代码
专知会员服务
62+阅读 · 2020年1月18日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
神经网络的损失函数为什么是非凸的?
极市平台
12+阅读 · 2019年9月26日
灾难性遗忘问题新视角:迁移-干扰平衡
CreateAMind
17+阅读 · 2019年7月6日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
样本贡献不均:Focal Loss和 Gradient Harmonizing Mechanism
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员