We consider finite blocklength lossy compression of information sources whose components are independent but non-identically distributed. Crucially, Gaussian sources with memory and quadratic distortion can be cast in this form. We show that under the operational constraint of exceeding distortion $d$ with probability at most $ε$, the minimum achievable rate at blocklength $n$ satisfies $R(n, d, ε)=\mathbb{R}_n(d)+\sqrt{\frac{\mathbb{V}_n(d)}{n}}Q^{-1}(ε)+O \left(\frac{\log n}{n}\right)$, where $Q^{-1}(\cdot)$ is the inverse $Q$-function, while $\mathbb{R}_n(d)$ and $\mathbb{V}_n(d)$ are fundamental characteristics of the source computed using its $n$-letter joint distribution and the distortion measure, called the $n$th-order informational rate-distortion function and the source dispersion, respectively. Our result generalizes the existing dispersion result for abstract sources with i.i.d. components. It also sharpens and extends the only known dispersion result for a source with memory, namely, the scalar Gauss-Markov source. The key novel technical tool in our analysis is the point-mass product proxy measure, which enables the construction of typical sets. This proxy generalizes the empirical distribution beyond the i.i.d. setting by preserving additivity across coordinates and facilitating a typicality analysis for sums of independent, non-identical terms.


翻译:本文研究信息源在有限块长下的有损压缩问题,该信息源各分量独立但非同分布。关键在于,具有记忆的高斯信源在二次失真度量下可转化为该形式。我们证明,在失真超过$d$的概率不超过$ε$的操作约束下,块长$n$时可达到的最小速率满足$R(n, d, ε)=\mathbb{R}_n(d)+\sqrt{\frac{\mathbb{V}_n(d)}{n}}Q^{-1}(ε)+O \left(\frac{\log n}{n}\right)$,其中$Q^{-1}(\cdot)$为逆$Q$函数,而$\mathbb{R}_n(d)$与$\mathbb{V}_n(d)$是通过信源的$n$维联合分布与失真度量计算的基本特征量,分别称为$n$阶信息率失真函数与信源弥散度。我们的结果推广了现有关于分量独立同分布抽象信源的弥散性结论,同时改进并扩展了目前唯一已知的具有记忆信源(即标量高斯-马尔可夫信源)的弥散性结果。分析中的关键新技术工具是点质量乘积代理测度,该工具使得典型集的构造成为可能。此代理方法通过保持坐标间的可加性,将经验分布推广至独立同分布设定之外,并为独立非同分布项的和提供了典型性分析框架。

0
下载
关闭预览

相关内容

专知会员服务
32+阅读 · 2021年1月9日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
【资源推荐】模型压缩与加速相关资源汇总
解读 | 得见的高斯过程
机器学习算法与Python学习
14+阅读 · 2019年2月13日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月15日
VIP会员
相关VIP内容
专知会员服务
32+阅读 · 2021年1月9日
神经网络的拓扑结构,TOPOLOGY OF DEEP NEURAL NETWORKS
专知会员服务
35+阅读 · 2020年4月15日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员