Unbalanced Optimal Transport (UOT) has emerged as a robust relaxation of standard Optimal Transport, particularly effective for handling outliers and mass variations. However, scalable algorithms for UOT, specifically those based on Gradient Descent (SGD), remain largely underexplored. In this work, we address this gap by analyzing the semi-dual formulation of Entropic UOT and demonstrating its suitability for adaptive gradient methods. While the semi-dual is a standard tool for large-scale balanced OT, its geometry in the unbalanced setting appears ill-conditioned under standard analysis. Specifically, worst-case bounds on the marginal penalties using $χ^2$ divergence suggest a condition number scaling with $n/\varepsilon$, implying poor scalability. In contrast, we show that the local condition number actually scales as $\mathcal{O}(1/\varepsilon)$, effectively removing the ill-conditioned dependence on $n$. Exploiting this property, we prove that SGD methods adapt to this local curvature, achieving a convergence rate of $\mathcal{O}(n/\varepsilon T)$ in the stochastic and online regimes, making it suitable for large-scale and semi-discrete applications. Finally, for the full batch discrete setting, we derive a nearly tight upper bound on local smoothness depending solely on the gradient. Using it to adapt step sizes, we propose a modified Adaptive Nesterov Accelerated Gradient (ANAG) method on the semi-dual functional and prove that it achieves a local complexity of $\mathcal{O}(n^2\sqrt{1/\varepsilon}\ln(1/δ))$.


翻译:非平衡最优传输(UOT)已成为标准最优传输的一种鲁棒松弛形式,在处理异常值和质量变化方面尤为有效。然而,针对UOT的可扩展算法,特别是基于随机梯度下降(SGD)的方法,目前仍缺乏深入探索。本研究通过分析熵正则化UOT的半对偶形式,证明了其适用于自适应梯度方法,从而填补了这一空白。虽然半对偶是大规模平衡OT的标准工具,但在非平衡设定下,其几何性质在标准分析中表现出病态特性。具体而言,使用χ²散度的边际惩罚最坏情况边界表明条件数与n/ε成比例,这意味着可扩展性较差。与之相反,我们证明局部条件数实际按O(1/ε)缩放,有效消除了对n的病态依赖。利用这一特性,我们证明了SGD方法能够适应这种局部曲率,在随机和在线机制下达到O(n/εT)的收敛速率,使其适用于大规模和半离散应用场景。最后,针对全批量离散设定,我们推导出仅依赖于梯度的局部平滑度的近乎紧致上界。通过利用该上界自适应调整步长,我们在半对偶泛函上提出改进的自适应涅斯捷罗夫加速梯度(ANAG)方法,并证明其达到O(n²√(1/ε)ln(1/δ))的局部计算复杂度。

0
下载
关闭预览

相关内容

梯度的本意是一个向量(矢量),表示某一函数在该点处的方向导数沿着该方向取得最大值,即函数在该点处沿着该方向(此梯度的方向)变化最快,变化率最大(为该梯度的模)。
【CMU博士论文】最优传输的统计推断
专知会员服务
28+阅读 · 2024年5月29日
「机器学习最优传输」最新进展, 巴黎萨克雷大学编著
专知会员服务
29+阅读 · 2023年6月29日
专知会员服务
47+阅读 · 2021年7月26日
2018年深度学习优化算法最新综述
计算机视觉战队
10+阅读 · 2018年12月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月2日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员