Channel simulation is an alternative to quantization and entropy coding for performing lossy source coding. Recently, channel simulation has gained significant traction in both the machine learning and information theory communities, as it integrates better with machine learning-based data compression algorithms and has better rate-distortion-perception properties than quantization. As the practical importance of channel simulation increases, it is vital to understand its fundamental limitations. Recently, Sriramu and Wagner provided an almost complete characterisation of the redundancy of channel simulation algorithms. In this paper, we complete this characterisation. First, we significantly extend a result of Li and El Gamal, and show that the redundancy of any instance of a channel simulation problem is lower bounded by the channel simulation divergence. Second, we give two proofs that the asymptotic redundancy of simulating iid non-singular channels is lower-bounded by $1/2$: one using a direct approach based on the asymptotic expansion of the channel simulation divergence and one using large deviations theory.


翻译:信道模拟是执行有损信源编码的一种替代量化与熵编码的方法。近年来,信道模拟在机器学习和信息论领域均获得了显著关注,因为它能更好地与基于机器学习的数据压缩算法相结合,并且相比量化具有更优的速率‑失真‑感知特性。随着信道模拟在实际应用中的重要性日益提升,理解其基本局限性至关重要。近期,Sriramu与Wagner几乎完整刻画了信道模拟算法的冗余度特征。本文中,我们完成了这一刻画。首先,我们显著扩展了Li与El Gamal的结果,证明任何信道模拟问题实例的冗余度均以信道模拟散度为下界。其次,我们给出了两种证明,表明独立同分布非奇异信道模拟的渐近冗余度下界为$1/2$:一种基于信道模拟散度渐近展开的直接方法,另一种则利用大偏差理论。

0
下载
关闭预览

相关内容

【Paul Liang】多模态深度学习,Multimodal Deep Learning
专知会员服务
185+阅读 · 2022年4月12日
【Google】高效Transformer综述,Efficient Transformers: A Survey
专知会员服务
66+阅读 · 2022年3月17日
机器学习在信道建模中的应用综述
专知会员服务
29+阅读 · 2021年3月16日
专知会员服务
32+阅读 · 2021年1月9日
多模态深度学习综述,18页pdf
专知会员服务
220+阅读 · 2020年3月29日
多模态深度学习综述,18页pdf
专知
51+阅读 · 2020年3月29日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
超全总结:神经网络加速之量化模型 | 附带代码
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员