The optimal transport (OT) problem or earth mover's distance has wide applications to machine learning and statistical problems. In 2013, Cuturi [Cut13] introduced the Sinkhorn algorithm for matrix scaling as a method to compute solutions to regularized optimal transport problems. In this paper, we introduce the exponentially converging Sinkhorn algorithm ExpSinkhorn, by modifying the Sinkhorn algorithm to adaptively double the regularization parameter $\eta$ periodically. The resulting method has the benefits of automatically finding the regularization parameter $\eta$ for a desired accuracy $\varepsilon$, and has iteration complexity depending on $\log(1/\varepsilon)$, as opposed to $\varepsilon^{-O(1)}$ as in previous analyses [Cut13] [ANWR17]. We also show empirically that our algorithm is efficient and robust.


翻译:最佳运输(OT)问题或地球移动器距离对于机器学习和统计问题有着广泛的应用。 2013年,Cuturi [Cut13] 引入了矩阵缩放Sinkhorn算法,作为计算正规化最佳运输问题解决方案的一种方法。在本文中,我们引入了Sinkhorn算法ExmSinkhorn指数,将Sinkhorn算法修改为适应性地使正规化参数定期翻一倍$\eta$(美元)。由此得出的方法的好处是自动找到正规化参数$\eta$(美元)以达到理想的精确度 $\varepsilon$,并且根据$\log(1/\varepsilon) 来进行循环复杂度,而不是像以前的分析[Cut13] [ANWR17] 那样,我们从经验上表明我们的算法是高效和稳健的。

0
下载
关闭预览

相关内容

不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
51+阅读 · 2020年12月14日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
VIP会员
相关VIP内容
相关资讯
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员