We show that linear codes combined with rejection sampling can yield a capacity-achieving scheme for simulating additive exchangeable noise channels. Specifically, our scheme achieves an amount of communication within $\log e + 1$ bits from the excess functional information lower bound. Hence, it can be used in lossy source coding to achieve the rate-distortion function. We discuss practical implementations based on BCH codes and polar codes. For the simulation of binary symmetric channels, the BCH-based construction with a blocklength of $n = 63$ attains a rate comparable to the PolarSim with $n = 4096$, while significantly reducing the latency. The polar-based construction asymptotically achieves the channel capacity with polynomial average complexity. Furthermore, using the idea from greedy rejection sampling, we propose an algorithm to construct capacity-achieving schemes based on any linear codes. Experiments reveal that our construction can outperform conventional covering codes for lossy source coding with Hamming distortion for a certain range of distortion levels, and performs well even when the blocklength is small (e.g., $n = 24$).


翻译:本文证明,线性码结合拒绝采样可构建一种模拟加性可交换噪声信道的容量可达方案。具体而言,该方案的通信量超出功能信息下界不超过 $\log e + 1$ 比特,因此可用于失真信源编码以实现率失真函数。我们讨论了基于BCH码与极化码的实用实现方案。对于二进制对称信道的仿真,采用分组长度 $n = 63$ 的BCH码构造方案,其速率可与 $n = 4096$ 的PolarSim方案相媲美,同时显著降低了延迟。基于极化码的构造方案以多项式平均复杂度渐近达到信道容量。此外,利用贪婪拒绝采样的思想,我们提出了一种基于任意线性码构建容量可达方案的算法。实验表明,在特定失真度范围内,我们的构造在汉明失真下的失真信源编码性能优于传统覆盖码,且即使在较小分组长度(如 $n = 24$)下仍表现良好。

0
下载
关闭预览

相关内容

【干货书】代数编码理论导论
专知会员服务
44+阅读 · 2023年9月13日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
专知会员服务
37+阅读 · 2021年10月16日
【ICML2021】具有线性复杂度的Transformer的相对位置编码
专知会员服务
25+阅读 · 2021年5月20日
机器学习在信道建模中的应用综述
专知会员服务
29+阅读 · 2021年3月16日
专知会员服务
32+阅读 · 2021年1月9日
异质信息网络分析与应用综述,软件学报-北京邮电大学
一文读懂线性回归、岭回归和Lasso回归
CSDN
34+阅读 · 2019年10月13日
面试题:Word2Vec中为什么使用负采样?
七月在线实验室
46+阅读 · 2019年5月16日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【干货书】代数编码理论导论
专知会员服务
44+阅读 · 2023年9月13日
编码计算研究综述
专知会员服务
22+阅读 · 2021年10月26日
专知会员服务
37+阅读 · 2021年10月16日
【ICML2021】具有线性复杂度的Transformer的相对位置编码
专知会员服务
25+阅读 · 2021年5月20日
机器学习在信道建模中的应用综述
专知会员服务
29+阅读 · 2021年3月16日
专知会员服务
32+阅读 · 2021年1月9日
异质信息网络分析与应用综述,软件学报-北京邮电大学
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员