By analogy to the terminology of curved exponential families in statistics, we define curved Bregman divergences as Bregman divergences restricted to non-affine parameter subspaces and sub-dimensional Bregman divergences when the restrictions are affine. A common example of curved Bregman divergence is the cosine dissimilarity between normalized vectors: a curved squared Euclidean divergence. We prove that the barycenter of a finite weighted set of parameters under a curved Bregman divergence amounts to the right Bregman projection onto the non-affine subspace of the barycenter with respect to the full Bregman divergence, and interpret a generalization of the weighted Bregman centroid of $n$ parameters as a $n$-fold sub-dimensional Bregman divergence. We demonstrate the significance of curved Bregman divergences with several examples: (1) symmetrized Bregman divergences, (2) pointwise symmetrized Bregman divergences, and (3) the Kullback-Leibler divergence between circular complex normal distributions. We explain how to reparameterize sub-dimensional Bregman divergences on simplicial sub-dimensional domains. We then consider monotonic embeddings to define representational curved Bregman divergences and show that the $α$-divergences are representational curved Bregman divergences with respect to $α$-embeddings of the probability simplex into the positive measure cone. As an application, we report an efficient method to calculate the intersection of a finite set of $α$-divergence spheres. As an application, we report an efficient method to calculate the intersection of a finite set of $α$-divergence spheres.


翻译:类比统计学中曲率指数族的概念,我们将布雷格曼散度限制在非仿射参数子空间上时定义为曲率布雷格曼散度,而当限制为仿射时则称为子维布雷格曼散度。曲率布雷格曼散度的一个常见例子是归一化向量间的余弦相异度:一种曲率平方欧几里得散度。我们证明,在曲率布雷格曼散度下,有限加权参数集的质心等价于在全布雷格曼散度下向该质心所在非仿射子空间的右布雷格曼投影,并将 $n$ 个参数的加权布雷格曼质心的推广解释为 $n$ 重子维布雷格曼散度。我们通过若干实例阐明曲率布雷格曼散度的重要性:(1) 对称化布雷格曼散度,(2) 逐点对称化布雷格曼散度,以及 (3) 圆复正态分布间的 Kullback-Leibler 散度。我们阐释了如何在单纯形子维域上对子维布雷格曼散度进行重参数化。随后通过引入单调嵌入来定义表示性曲率布雷格曼散度,并证明 $α$-散度正是概率单纯形通过 $α$-嵌入映射到正测度锥时对应的表示性曲率布雷格曼散度。作为应用,我们提出了一种高效计算有限个 $α$-散度球交集的方法。

0
下载
关闭预览

相关内容

扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
【CMU讲义】《离散微分几何:应用导论》】
专知会员服务
45+阅读 · 2022年5月3日
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
数据分析师应该知道的16种回归方法:负二项回归
数萃大数据
74+阅读 · 2018年9月16日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
傅里叶变换和拉普拉斯变换的物理解释及区别
算法与数学之美
11+阅读 · 2018年2月5日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月18日
Arxiv
0+阅读 · 1月28日
VIP会员
相关VIP内容
扩散模型概述:应用、引导生成、统计率和优化
专知会员服务
47+阅读 · 2024年4月14日
【CMU讲义】《离散微分几何:应用导论》】
专知会员服务
45+阅读 · 2022年5月3日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员