Modern machine learning repeatedly manipulates probability measures: empirical datasets, generated samples, latent distributions, class-conditional laws, particle systems, weights of wide networks and attention patterns. Optimal transport is useful in this setting because it compares such objects by asking how mass should move. It therefore combines a statistically meaningful notion of discrepancy with a geometry of interpolation, dual certificates and variational dynamics. This makes OT a common language for losses, generative modeling, domain adaptation, robust learning, barycenters, gradient flows and mean-field descriptions of learning algorithms. This book presents the main OT techniques with these machine-learning uses in mind. It starts from finite assignment and the Monge map viewpoint, passes to Kantorovich couplings and dual potentials, and then explains the algorithmic ideas that make transport usable: linear programming, semi-discrete cells, Sinkhorn scaling and low-dimensional projections. The same objects are then reused as a geometry of measures, giving Wasserstein distances, barycenters, gradient flows, dynamic formulations and Gaussian/Bures formulas. The final chapters emphasize the variants most relevant to modern ML: divergences and adversarial losses, entropic and unbalanced relaxations, robust or spectral ground geometries, Gromov and quantum extensions, and transport-based views of generative models, mean-field networks and attention dynamics. The goal is to keep the mathematics explicit while exposing the computational and geometric intuitions needed to turn OT into a working toolbox for machine learners.


翻译:现代机器学习反复操作概率测度:经验数据集、生成样本、潜变量分布、类别条件法则、粒子系统、宽网络权重及注意力模式。最优传输在此场景中极具价值,因为它通过询问质量应如何移动来比较这些对象。因此,它将具有统计意义的差异概念与插值几何、对偶证书和变分动力学相结合。这使得最优传输成为损失函数、生成建模、领域适应、鲁棒学习、重心(barycenters)、梯度流以及学习算法的平均场描述的共同语言。本书以这些机器学习应用为导向,介绍主要的最优传输技术。它从有限指派问题和蒙日映射视角出发,过渡到康托洛维奇耦合和对偶势能,进而阐述使传输可行的算法思想:线性规划、半离散胞元、Sinkhorn缩放和低维投影。随后,这些相同对象被重用为测度几何,从而获得沃瑟斯坦距离、重心、梯度流、动态公式化以及高斯/布雷斯公式。最后章节重点介绍对现代机器学习最为相关的变体:散度与对抗损失、熵松弛与不平衡松弛、鲁棒或谱地面几何、格罗莫夫与量子扩展,以及基于传输视角的生成模型、平均场网络和注意力动力学。目标是保持数学的严谨性,同时揭示将最优传输转化为机器学习者可操作工具箱所需的计算与几何直觉。

0
下载
关闭预览

相关内容

「机器学习最优传输」最新进展, 巴黎萨克雷大学编著
专知会员服务
29+阅读 · 2023年6月29日
【Google-Marco Cuturi】最优传输,339页ppt,Optimal Transport
专知会员服务
49+阅读 · 2021年10月26日
专知会员服务
47+阅读 · 2021年7月26日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
独家 | 带你认识机器学习的的本质(附资料)
数据派THU
22+阅读 · 2019年3月13日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
干货|掌握机器学习数学基础之优化[1](重点知识)
机器学习研究会
10+阅读 · 2017年11月19日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
3+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员