The $d$-tilted information has been found to be a useful quantity in finite-blocklength rate-distortion theory for memoryless sources. We study the source-side $d$-tilted sum induced by the single-letter Blahut--Arimoto operating point for a stationary binary Markov source under Hamming distortion; this is a source-side quantity distinct from the $n$-letter operational $d$-tilted information. We show that the centered block sum $J_n(D) - nμ_D$ is exactly an affine image of the occupation count $N_n = \sum_{t=1}^n \mathbf{1}\{X_t = 1\}$ of the Markov chain. As consequences, all centered cumulants are independent of the distortion level~$D$, the finite-$n$ variance admits a closed form, and the exact finite-$n$ distribution and limiting cumulant generating function are given by a $2 \times 2$ transfer matrix.


翻译:$d$-倾斜信息已被证明是无记忆源有限块长率失真理论中的一个有用量。我们研究由平稳二元马尔可夫源在汉明失真下,由单字母Blahut--Arimoto工作点诱导的源端$d$-倾斜和;这是一个与$n$字母操作$d$-倾斜信息不同的源端量。我们证明中心化块和$J_n(D) - nμ_D$恰好是马尔可夫链占据计数$N_n = \sum_{t=1}^n \mathbf{1}\{X_t = 1\}$的一个仿射像。由此可得,所有中心化累积量均与失真水平~$D$无关,有限$n$方差具有闭式解,且精确的有限$n$分布及极限累积量生成函数可由一个$2 \times 2$转移矩阵给出。

0
下载
关闭预览

相关内容

从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
TensorFlow seq2seq中的Attention机制(续)
深度学习每日摘要
15+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月25日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
7+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
15+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
3+阅读 · 4月12日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员