We derive a few extended versions of the Kraft inequality for information lossless finite-state encoders. The main basic contribution is in defining a notion of a Kraft matrix and in establishing the fact that a necessary condition for information losslessness of a finite-state encoder is that none of the eigenvalues of this matrix have modulus larger than unity, or equivalently, the generalized Kraft inequality asserts that the spectral radius of the Kraft matrix cannot exceed one. For the important special case where the FS encoder is irreducible, we derive several equivalent forms of this inequality, which are based on well known formulas for spectral radius. It also turns out that in the irreducible case, Kraft sums are bounded by a constant, independent of the block length, and thus cannot grow even in any subexponential rate. Finally, two extensions are outlined - one concerns the case of side information available to both encoder and decoder, and the other is for lossy compression.


翻译:本文推导了信息无损有限状态编码器的几种扩展形式的Kraft不等式。主要基础贡献在于定义了Kraft矩阵的概念,并证明了有限状态编码器信息无损的一个必要条件是:该矩阵的所有特征值的模均不大于1;等价地,广义Kraft不等式断言Kraft矩阵的谱半径不能超过1。针对有限状态编码器不可约这一重要特例,我们基于谱半径的若干著名公式推导了该不等式的几种等价形式。研究还表明,在不可约情形下,Kraft和有界于一个与分组长度无关的常数,因此甚至无法以任何亚指数速率增长。最后,本文概述了两个扩展方向:一是编码器和解码器均能获得边信息的情形,二是针对有损压缩的推广。

0
下载
关闭预览

相关内容

【ICML2023】Transformer编码器表达能力的更严格界限
专知会员服务
31+阅读 · 2023年4月27日
自编码器导论,26页pdf
专知会员服务
42+阅读 · 2022年1月18日
专知会员服务
37+阅读 · 2021年10月16日
【ICML2021】具有线性复杂度的Transformer的相对位置编码
专知会员服务
25+阅读 · 2021年5月20日
【干货】深入理解变分自编码器
专知
21+阅读 · 2018年3月22日
【干货】深入理解自编码器(附代码实现)
【干货】一文读懂什么是变分自编码器
专知
12+阅读 · 2018年2月11日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月11日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员