We study the oracle complexity of finding $\varepsilon$-Pareto stationary points in smooth multiobjective optimization with $m$ objectives. Progress is measured by the Pareto stationarity gap $\mathcal{G}(x)$, the norm of the best convex combination of objective gradients. Our analysis relies on a non-degenerate lifting that embeds hard single-objective instances into MOO instances with distinct objectives and non-singleton Pareto fronts while preserving lower bounds on $\mathcal{G}$. We establish: (i) in the $μ$-strongly convex case, any span first-order method has worst-case linear convergence no faster than $\exp(-Θ(T/\sqrtκ))$ after $T$ oracle calls, yielding $Θ(\sqrtκ\log(1/\varepsilon))$ iterations and matching accelerated upper bounds; (ii) in the convex case, an $Ω(1/T)$ min-iterate lower bound for oblivious one-step methods and a universal last-iterate lower bound $Ω(1/T^2)$ for oblivious span methods via polynomial-degree arguments, and we further show this latter bound is loose (for general adaptive methods) by importing geometric lower bounds to obtain an $Ω(1/T)$ min-iterate lower bound for general adaptive first-order methods; (iii) in the nonconvex case with $L$-Lipschitz gradients, an $Ω(\sqrt{L}/(T+1))$-type lower bound on $\mathcal{G}$ (tight in order), implying $Ω(1/\varepsilon^2)$ iterations to reach $\mathcal{G}(x)\le\varepsilon$ up to natural scaling.


翻译:我们研究了在具有$m$个目标的光滑多目标优化中寻找$\varepsilon$-帕累托稳定点的预言机复杂度。进展通过帕累托稳定间隙$\mathcal{G}(x)$——即目标梯度最佳凸组合的范数——来衡量。我们的分析依赖于一种非退化提升技术,该技术将困难的单目标实例嵌入到具有不同目标和非单点帕累托前沿的多目标优化实例中,同时保持$\mathcal{G}$的下界。我们建立了以下结果:(i) 在$μ$-强凸情形下,任何跨度一阶方法在$T$次预言机调用后,其最坏情况线性收敛速度不会快于$\exp(-Θ(T/\sqrtκ))$,从而得到$Θ(\sqrtκ\log(1/\varepsilon))$的迭代次数,并与加速上界相匹配;(ii) 在凸情形下,通过多项式次数论证,对遗忘一步方法得到$Ω(1/T)$的最小迭代下界,并对遗忘跨度方法得到普适的最终迭代下界$Ω(1/T^2)$;我们进一步通过引入几何下界证明后一界对于一般自适应方法是宽松的,从而对一般自适应一阶方法得到$Ω(1/T)$的最小迭代下界;(iii) 在具有$L$-利普希茨梯度的非凸情形下,得到$\mathcal{G}$的$Ω(\sqrt{L}/(T+1))$型下界(阶数紧),这意味着在自然缩放下达到$\mathcal{G}(x)\le\varepsilon$需要$Ω(1/\varepsilon^2)$次迭代。

0
下载
关闭预览

相关内容

【IJCAI2025教程】基于梯度的多目标深度学习,221页ppt
专知会员服务
24+阅读 · 2025年8月31日
【经典书】凸优化:算法与复杂度,130页pdf
专知会员服务
81+阅读 · 2021年11月16日
通过条件梯度进行结构化机器学习训练,50页ppt与视频
专知会员服务
13+阅读 · 2021年2月25日
专知会员服务
44+阅读 · 2020年9月25日
【模型泛化教程】标签平滑与Keras, TensorFlow,和深度学习
专知会员服务
21+阅读 · 2019年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员