This paper investigates the joint compression problem of a vector Gaussian source, where an individual distortion constraint is imposed on each source component. It is known that the rate-distortion function (RDF) is lower-bounded by the rate derived from the Hadamard inequality, which becomes exact when the semidefinite condition (SDC) holds. However, existing works often overlook the case where the SDC is not satisfied. Moreover, even when the SDC holds, a quantitative characterization of how correlations enable more efficient compression is lacking. In this work, we refine the results when the SDC is satisfied and derive new theoretical results when the SDC is not satisfied, thereby establishing theoretical limits for practical source compression with correlations. Specifically, we examine the properties of optimal source reconstruction and provide upper bounds on its dimension, showing that lower-dimensional reconstructions are essential for efficient compression when the SDC does not hold. Within a scalable two-type correlation (2TC) covariance framework, we prove that the probability of satisfying the SDC decays exponentially with source length, emphasizing the importance of exploring theoretical limits when the SDC is not met. Additional, we determine the component-wise correlations that a vector source should possess to achieve the Hadamard compression rate, revealing the trade-off between distortion constraints and correlations. More importantly, by deriving an explicit RDF with correlations incorporated, we quantitatively characterize the gain in compression efficiency achieved by fully leveraging source correlations.


翻译:本文研究向量高斯源的联合压缩问题,其中每个源分量都施加了独立的失真约束。已知率失真函数(RDF)的下界由Hadamard不等式导出的速率给出,该下界在半正定条件(SDC)成立时达到精确。然而,现有研究往往忽略SDC不满足的情况。此外,即使SDC成立,也缺乏关于相关性如何实现更高效压缩的定量刻画。在本工作中,我们完善了SDC满足时的结果,并推导出SDC不满足时的新理论结果,从而为具有相关性的实际信源压缩建立了理论极限。具体而言,我们分析了最优信源重构的特性,并给出了其维度的上界,表明当SDC不成立时,低维重构对于高效压缩至关重要。在可扩展的双类型相关性(2TC)协方差框架内,我们证明了满足SDC的概率随信源长度呈指数衰减,这强调了探索SDC不满足时理论极限的重要性。此外,我们确定了向量信源为达到Hadamard压缩率应具备的分量间相关性,揭示了失真约束与相关性之间的权衡关系。更重要的是,通过推导包含相关性的显式RDF,我们定量刻画了充分利用信源相关性所实现的压缩效率增益。

0
下载
关闭预览

相关内容

谷歌EfficientNet缩放模型,PyTorch实现登热榜
机器学习算法与Python学习
11+阅读 · 2019年6月4日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
换个角度看GAN:另一种损失函数
机器之心
16+阅读 · 2019年1月1日
CosFace: Large Margin Cosine Loss for Deep Face Recognition论文笔记
统计学习与视觉计算组
44+阅读 · 2018年4月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员