We study the unbalanced optimal transport (UOT) problem, where the marginal constraints are enforced using Maximum Mean Discrepancy (MMD) regularization. Our study is motivated by the observation that existing works on UOT have mainly focused on regularization based on $\phi$-divergence (e.g., KL). The role of MMD, which belongs to the complementary family of integral probability metrics (IPMs), as a regularizer in the context of UOT seems to be less understood. Our main result is based on Fenchel duality, using which we are able to study the properties of MMD-regularized UOT (MMD-UOT). One interesting outcome of this duality result is that MMD-UOT induces a novel metric over measures, which again belongs to the IPM family. Further, we present finite-sample-based convex programs for estimating MMD-UOT and the corresponding barycenter. Under mild conditions, we prove that our convex-program-based estimators are consistent, and the estimation error decays at a rate $\mathcal{O}\left(m^{-\frac{1}{2}}\right)$, where $m$ is the number of samples from the source/target measures. Finally, we discuss how these convex programs can be solved efficiently using (accelerated) projected gradient descent. We conduct diverse experiments to show that MMD-UOT is a promising alternative to $\phi$-divergence-regularized UOT in machine learning applications.


翻译:我们研究非平衡最优输运(UOT)问题,其中边际约束通过最大均值差异(MMD)正则化来强制执行。本研究的动机源于观察到现有UOT工作主要基于$\phi$-散度(例如KL)进行正则化。属于积分概率度量(IPM)互补族的MMD作为UOT中正则化子的作用似乎尚未得到充分理解。我们的主要结果基于Fenchel对偶,通过该对偶能够研究MMD正则化UOT(MMD-UOT)的性质。该对偶结果的一个有趣结论是,MMD-UOT在测度上诱导出一种新型度量,该度量同样属于IPM族。此外,我们提出了基于有限样本的凸规划方法用于估计MMD-UOT及其对应的重心。在温和条件下,我们证明了基于凸规划的估计量具有一致性,且估计误差以$\mathcal{O}\left(m^{-\frac{1}{2}}\right)$速率衰减,其中$m$为源/目标测度的样本数。最后,我们讨论了如何通过(加速)投影梯度下降高效求解这些凸规划。通过多样化实验表明,MMD-UOT在机器学习应用中是有望替代$\phi$-散度正则化UOT的方法。

0
下载
关闭预览

相关内容

专知会员服务
30+阅读 · 2021年5月20日
专知会员服务
52+阅读 · 2020年12月14日
一份简单《图神经网络》教程,28页ppt
专知会员服务
127+阅读 · 2020年8月2日
【斯坦福大学Chelsea Finn-NeurIPS 2019】贝叶斯元学习
专知会员服务
38+阅读 · 2019年12月17日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月29日
Arxiv
0+阅读 · 2023年5月29日
Arxiv
0+阅读 · 2023年5月24日
Arxiv
12+阅读 · 2018年1月12日
VIP会员
最新内容
美空军如何将人工智能从战场部署至后方机关
专知会员服务
3+阅读 · 今天3:48
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
2+阅读 · 今天2:57
《英国防部:未来空战系统数字化战略》33页
专知会员服务
2+阅读 · 今天2:35
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
3+阅读 · 今天2:25
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关VIP内容
专知会员服务
30+阅读 · 2021年5月20日
专知会员服务
52+阅读 · 2020年12月14日
一份简单《图神经网络》教程,28页ppt
专知会员服务
127+阅读 · 2020年8月2日
【斯坦福大学Chelsea Finn-NeurIPS 2019】贝叶斯元学习
专知会员服务
38+阅读 · 2019年12月17日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员