We study an entropy functional $H_K$ that is sensitive to a prescribed similarity structure on a state space. For finite spaces, $H_K$ coincides with the order-1 similarity-sensitive entropy of Leinster and Cobbold. We work in the general measure-theoretic setting of kernelled probability spaces $(Ω,μ,K)$ introduced by Leinster and Roff, and develop basic structural properties of $H_K$. Our main results concern the behavior of $H_K$ under coarse-graining. For a measurable map $f:Ω\to Y$ and input law $μ$, we define a law-induced kernel on $Y$ whose pullback minimally dominates $K$, and show that it yields a coarse-graining inequality and a data-processing inequality for $H_K$, for both deterministic maps and general Markov kernels. We also introduce conditional similarity-sensitive entropy and an associated mutual information, and compare their behavior to the classical Shannon case.


翻译:我们研究一种对状态空间上指定相似度结构敏感的熵泛函 $H_K$。对于有限空间,$H_K$ 与 Leinster 和 Cobbold 提出的一阶相似度敏感熵一致。我们在 Leinster 和 Roff 引入的核化概率空间 $(Ω,μ,K)$ 的一般测度论框架下展开工作,并发展了 $H_K$ 的基本结构性质。我们的主要结果关注 $H_K$ 在粗粒化下的行为。对于可测映射 $f:Ω\to Y$ 和输入分布 $μ$,我们定义了 $Y$ 上的一个由分布诱导的核,其回拉最小支配 $K$,并证明该核为 $H_K$ 导出了粗粒化不等式和数据处理不等式,这些结果对确定性映射和一般马尔可夫核均成立。我们还引入了条件相似度敏感熵及其对应的互信息,并将其行为与经典香农情形进行了比较。

0
下载
关闭预览

相关内容

【NeurIPS2021】神经网络表示的相似度和匹配
专知会员服务
27+阅读 · 2021年10月29日
【经典书】模式识别概率理论,654页pdf
专知会员服务
87+阅读 · 2021年1月21日
pytorch中六种常用的向量相似度评估方法
极市平台
22+阅读 · 2021年12月9日
计算文本相似度常用的四种方法
论智
33+阅读 · 2018年5月18日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月12日
VIP会员
相关VIP内容
【NeurIPS2021】神经网络表示的相似度和匹配
专知会员服务
27+阅读 · 2021年10月29日
【经典书】模式识别概率理论,654页pdf
专知会员服务
87+阅读 · 2021年1月21日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员