We analyze algorithms for solving stochastic variational inequalities (VI) without the bounded variance or bounded domain assumptions, where our main focus is min-max optimization with possibly unbounded constraint sets. We focus on two classes of problems: monotone VIs; and structured nonmonotone VIs that admit a solution to the weak Minty VI. The latter assumption allows us to solve structured nonconvex-nonconcave min-max problems. For both classes of VIs, to make the expected residual norm less than $\varepsilon$, we show an oracle complexity of $\widetilde{O}(\varepsilon^{-4})$, which is the best-known for constrained VIs. In our setting, this complexity had been obtained with the bounded variance assumption in the literature, which is not even satisfied for bilinear min-max problems with an unbounded domain. We obtain this complexity for stochastic oracles whose variance can grow as fast as the squared norm of the optimization variable.


翻译:本文分析了在无需有界方差或有界域假设条件下求解随机变分不等式(VI)的算法,主要关注可能具有无界约束集的极小极大优化问题。我们聚焦于两类问题:单调变分不等式;以及允许弱Minty变分不等式解的结构化非单调变分不等式。后一假设使我们能够求解结构化的非凸-非凹极小极大问题。对于这两类变分不等式,为使期望残差范数小于$\varepsilon$,我们证明了$\widetilde{O}(\varepsilon^{-4})$的Oracle复杂度,这是约束变分不等式问题中已知的最佳结果。在现有文献中,该复杂度结果需依赖有界方差假设,而该假设甚至在无界域的双线性极小极大问题中都无法满足。我们针对方差增长速率可达优化变量范数平方的随机Oracle获得了这一复杂度。

0
下载
关闭预览

相关内容

【牛津博士论文】无限维空间中的广义变分推断
专知会员服务
20+阅读 · 2025年8月11日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
【干货书】凸随机优化,320页pdf
专知
12+阅读 · 2022年9月16日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
从点到线:逻辑回归到条件随机场
夕小瑶的卖萌屋
15+阅读 · 2017年7月22日
精品公开课 | 随机梯度下降算法综述
七月在线实验室
13+阅读 · 2017年7月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【牛津博士论文】无限维空间中的广义变分推断
专知会员服务
20+阅读 · 2025年8月11日
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员