We derive a class of divergences measuring the difference between probability density functions on the one-dimensional sample space. This divergence is a one-parameter variation of the Itakura--Saito divergence between quantile density functions. We prove that the proposed divergence is a one-parameter variation of the transport Kullback-Leibler divergence and the Hessian distance of negative Boltzmann entropy with respect to the Wasserstein-$2$ metric. From Taylor expansions, we also formulate the $3$-symmetric tensor in Wasserstein-$2$ space, which is given by an iterative Gamma three operator. The alpha--geodesic on Wasserstein space is also derived. From these properties, we name the proposed divergences transport alpha divergences. We provide several examples of transport alpha divergences on one dimensional distributions, such as generative models and Cauchy distributions.


翻译:我们推导了一类用于衡量一维样本空间上概率密度函数差异的散度。该散度是分位数密度函数间Itakura--Saito散度的单参数变体。我们证明了所提出的散度是传输Kullback-Leibler散度的单参数变体,同时也是负玻尔兹曼熵关于Wasserstein-$2$度量的Hessian距离。通过泰勒展开,我们还构建了Wasserstein-$2$空间中的$3$-对称张量,该张量由迭代Gamma三阶算子给出。同时推导了Wasserstein空间上的alpha--测地线。基于这些特性,我们将所提出的散度命名为传输alpha散度。我们提供了若干一维分布上传输alpha散度的实例,例如生成模型和柯西分布。

0
下载
关闭预览

相关内容

【CMU博士论文】最优传输的统计推断
专知会员服务
28+阅读 · 2024年5月29日
【PAISS 2021 教程】概率散度与生成式模型,92页ppt
专知会员服务
34+阅读 · 2021年11月30日
【Google-Marco Cuturi】最优传输,339页ppt,Optimal Transport
专知会员服务
49+阅读 · 2021年10月26日
【Nature论文】深度网络中的梯度下降复杂度控制
专知会员服务
41+阅读 · 2020年3月9日
【干货书】计算机科学离散数学,627页pdf
专知
64+阅读 · 2020年8月31日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月19日
Arxiv
0+阅读 · 2月5日
Arxiv
0+阅读 · 2月2日
VIP会员
相关资讯
【干货书】计算机科学离散数学,627页pdf
专知
64+阅读 · 2020年8月31日
从泰勒展开来看梯度下降算法
深度学习每日摘要
13+阅读 · 2019年4月9日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员