By analogy to the terminology of curved exponential families in statistics, we define curved Bregman divergences as Bregman divergences restricted to non-affine parameter subspaces and sub-dimensional Bregman divergences when the restrictions are affine. A common example of curved Bregman divergence is the cosine dissimilarity between normalized vectors: a curved squared Euclidean divergence. We prove that the barycenter of a finite weighted set of parameters under a curved Bregman divergence amounts to the right Bregman projection onto the non-affine subspace of the barycenter with respect to the full Bregman divergence, and interpret a generalization of the weighted Bregman centroid of $n$ parameters as a $n$-fold sub-dimensional Bregman divergence. We demonstrate the significance of curved Bregman divergences with several examples: (1) symmetrized Bregman divergences, (2) pointwise symmetrized Bregman divergences, and (3) the Kullback-Leibler divergence between circular complex normal distributions. We explain how to reparameterize sub-dimensional Bregman divergences on simplicial sub-dimensional domains. We then consider monotonic embeddings to define representational curved Bregman divergences and show that the $α$-divergences are representational curved Bregman divergences with respect to $α$-embeddings of the probability simplex into the positive measure cone. As an application, we report an efficient method to calculate the intersection of a finite set of $α$-divergence spheres. As an application, we report an efficient method to calculate the intersection of a finite set of $α$-divergence spheres.


翻译:通过与统计学中曲线指数族术语的类比,我们将曲线布雷格曼散度定义为限制在非仿射参数子空间的布雷格曼散度,当限制为仿射时则称为子维度布雷格曼散度。曲线布雷格曼散度的常见示例是归一化向量之间的余弦相异性,即曲线平方欧几里得散度。我们证明,在曲线布雷格曼散度下,有限加权参数集的质心相当于全布雷格曼散度下到非仿射子空间的右布雷格曼投影,并将$n$个参数的加权布雷格曼质心解释为$n$重子维度布雷格曼散度。我们通过几个示例展示了曲线布雷格曼散度的重要性:(1)对称化布雷格曼散度,(2)逐点对称化布雷格曼散度,以及(3)圆复正态分布之间的库尔贝克-莱布勒散度。我们解释了如何在单纯形子维度域上重新参数化子维度布雷格曼散度。接着,我们考虑单调嵌入来定义表示曲线布雷格曼散度,并证明$\alpha$-散度是关于概率单纯形到正测度锥的$\alpha$-嵌入的表示曲线布雷格曼散度。作为应用,我们报告了一种计算有限$\alpha$-散度球体交集的高效方法。

0
下载
关闭预览

相关内容

扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
【CMU讲义】《离散微分几何:应用导论》】
专知会员服务
45+阅读 · 2022年5月3日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
数据分析师应该知道的16种回归技术:分位数回归
数萃大数据
29+阅读 · 2018年8月8日
线性回归:简单线性回归详解
专知
12+阅读 · 2018年3月10日
图上的归纳表示学习
科技创新与创业
23+阅读 · 2017年11月9日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
边缘计算的军事应用
专知会员服务
7+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
9+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
14+阅读 · 8月7日
相关VIP内容
扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
【CMU讲义】《离散微分几何:应用导论》】
专知会员服务
45+阅读 · 2022年5月3日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员