We introduce a two-parameter family of discrepancy measures, termed \emph{$(G,f)$-divergences}, obtained by applying a non-decreasing function $G$ to an $f$-divergence $D_f$. Building on Csiszár's formulation of mutual $f$-information, we define a corresponding $(G,f)$-information measure $ I_{G,f}(X;Y)$. A central theme of the paper is subadditivity over product distributions and product channels. We develop reduction principles showing that, for broad classes of $G$, it suffices to verify divergence subadditivity on binary alphabets. Specializing to the functions $G(x)\in\{x,\log(1+x),-\log(1-x)\}$, we derive tractable sufficient conditions on $f$ that guarantee subadditivity, covering many standard $f$-divergences. Finally, we present applications to finite-blocklength converses for channel coding, bounds in binary hypothesis testing, and an extension of the Shannon--Gallager--Berlekamp sphere-packing exponent framework to subadditive $(G,f)$-divergences.


翻译:我们引入了一个双参数族的差异度量,称为\emph{$(G,f)$-散度},通过对$f$-散度$D_f$应用一个非递减函数$G$得到。基于Csiszár关于互$f$-信息的表述,我们定义了相应的$(G,f)$-信息测度$I_{G,f}(X;Y)$。本文的一个核心主题是乘积分布与乘积信道上的次可加性。我们发展了归约原理,表明对于广泛的$G$函数类,只需在二元字母表上验证散度的次可加性即可。特别地,针对函数$G(x)\in\{x,\log(1+x),-\log(1-x)\}$,我们推导了关于$f$的易于处理的充分条件,以保证次可加性成立,这涵盖了许多标准的$f$-散度。最后,我们展示了其在信道编码有限码长逆定理、二元假设检验中的界,以及将Shannon–Gallager–Berlekamp球面堆积指数框架推广到次可加的$(G,f)$-散度等方面的应用。

0
下载
关闭预览

相关内容

【经典书】信息论与统计: 教程,116页pdf
专知会员服务
62+阅读 · 2021年3月27日
异质信息网络分析与应用综述,软件学报-北京邮电大学
【康奈尔大学】度量数据粒度,Measuring Dataset Granularity
专知会员服务
13+阅读 · 2019年12月27日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
干货——图像分类(下)
计算机视觉战队
14+阅读 · 2018年8月28日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
各种相似性度量及Python实现
机器学习算法与Python学习
11+阅读 · 2017年7月6日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员