We establish the capacity of a class of communication channels introduced in [1]. The $n$-letter input from a finite alphabet is passed through a discrete memoryless channel $P_{Z|X}$ and then the output $n$-letter sequence is uniformly permuted. We show that the maximal communication rate (normalized by $\log n$) equals $1/2 (rank(P_{Z|X})-1)$ whenever $P_{Z|X}$ is strictly positive. This is done by establishing a converse bound matching the achievability of [1]. The two main ingredients of our proof are (1) a sharp bound on the entropy of a uniformly sampled vector from a type class and observed through a DMC; and (2) the covering $\epsilon$-net of a probability simplex with Kullback-Leibler divergence as a metric. In addition to strictly positive DMC we also find the noisy permutation capacity for $q$-ary erasure channels, the Z-channel and others.


翻译:我们建立了[1]中引入的一类通信渠道的能力。从一个限定字母中输入的美元字母输入通过一个离散的没有记忆的频道 $P ⁇ X} 美元,然后输出的美元字母序列是一致的。我们显示,最大通信率(由$\log n$统一) 等于1/2 (KK(P ⁇ X})-1美元,只要$P ⁇ X} 美元是绝对肯定的。通过建立一个与[1] 的可实现性相匹配的反向链。我们证据的两个主要成分是:(1) 在一个类型类别中统一抽样矢量的酶上有一个锐的捆绑,通过DMC观察;(2) 覆盖一个概率简单的概率为$\ epslon$- net,用Kullback- Leiber的差异作为衡量尺度。除了严格肯定的 DMC外,我们还发现$- Q- 时间保证频道、 Z- 频道和其他频道的噪音移动能力。

0
下载
关闭预览

相关内容

2019年机器学习框架回顾
专知会员服务
36+阅读 · 2019年10月11日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Arxiv
4+阅读 · 2017年1月2日
VIP会员
相关资讯
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
强化学习 cartpole_a3c
CreateAMind
9+阅读 · 2017年7月21日
Top
微信扫码咨询专知VIP会员