We study conditional entropy frameworks based on the Kolmogorov--Nagumo (KN) mean. First, we introduce $(η, ψ)$-KN averaging (\texttt{EPKNAVG}), a KN-mean extension of the $η$-averaging (\texttt{EAVG}) framework for $(η, F)$-entropy, and prove that, under suitable concavification conditions, it is equivalent to \texttt{EAVG}. Second, motivated by generalized $g$-vulnerability, we propose a new framework of generalized $g$-conditional entropies. We show that this framework captures conditional entropies beyond the scope of \texttt{EAVG}-type representations. In particular, there exists $α\in(0,1)\cup(1,\infty)$ such that the Augustin--Csisz{\' a}r conditional entropy $H_α^{\mathrm{C}}(X|Y)$ cannot be represented by any $(η,F)$-entropy satisfying \texttt{EAVG}, whereas it is represented within the proposed framework. We further derive sufficient conditions for the proposed generalized $g$-conditional entropies to satisfy conditioning reduces entropy (\texttt{CRE}) and the data-processing inequality (\texttt{DPI}).


翻译:我们研究基于Kolmogorov--Nagumo(KN)均值的条件熵框架。首先,我们引入$(η, ψ)$-KN平均(\texttt{EPKNAVG}),这是针对$(η, F)$-熵的$η$-平均(\texttt{EAVG})框架的KN均值推广,并证明在适当的凹性化条件下,它与\texttt{EAVG}等价。其次,受广义$g$-脆弱性概念的启发,我们提出一个广义$g$-条件熵的新框架。我们证明该框架能够刻画超出\texttt{EAVG}型表示范围的各类条件熵。特别地,存在$α\in(0,1)\cup(1,\infty)$使得Augustin--Csiszár条件熵$H_α^{\mathrm{C}}(X|Y)$无法被任何满足\texttt{EAVG}的$(η,F)$-熵所表示,但能在所提框架内实现表示。我们进一步推导了所提出的广义$g$-条件熵满足“条件作用降低熵”(\texttt{CRE})和“数据处理不等式”(\texttt{DPI})的充分条件。

0
下载
关闭预览

相关内容

条件熵 H(Y|X)表示在已知随机变量X的条件下随机变量Y的不确定性。条件熵 H(Y|X)定义为给定条件下X的条件概率分布
浅谈 Kubernetes 在生产环境中的架构
DevOps时代
11+阅读 · 2019年5月8日
基于GAN的极限图像压缩框架
论智
12+阅读 · 2018年4月15日
机器学习各种熵:从入门到全面掌握
AI研习社
10+阅读 · 2018年3月22日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
5+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员