A coupling of two distributions $P_{X}$ and $P_{Y}$ is a joint distribution $P_{XY}$ with marginal distributions equal to $P_{X}$ and $P_{Y}$. Given marginals $P_{X}$ and $P_{Y}$ and a real-valued function $f$ of the joint distribution $P_{XY}$, what is its minimum over all couplings $P_{XY}$ of $P_{X}$ and $P_{Y}$? We study the asymptotics of such coupling problems with different $f$'s and with $X$ and $Y$ replaced by $X^{n}=(X_{1},\ldots,X_{n})$ and $Y^{n}=(Y_{1},\ldots,Y_{n})$ where $X_{i}$ and $Y_{i}$ are i.i.d.\ copies of random variables $X$ and $Y$ with distributions $P_{X}$ and $P_{Y}$ respectively. These include the maximal coupling, minimum distance coupling, maximal guessing coupling, and minimum entropy coupling problems. We characterize the limiting values of these coupling problems as $n$ tends to infinity. We show that they typically converge at least exponentially fast to their limits. Moreover, for the problems of maximal coupling and minimum excess-distance probability coupling, we also characterize (or bound) the optimal convergence rates (exponents). Furthermore, for the maximal guessing coupling problem we show that it is equivalent to the distribution approximation problem. Therefore, some existing results for the latter problem can be used to derive the asymptotics of the maximal guessing coupling problem. We also study the asymptotics of the maximal guessing coupling problem for two \emph{general} sources and a generalization of this problem, named the \emph{maximal guessing coupling through a channel problem}. We apply the preceding results to several new information-theoretic problems, including exact intrinsic randomness, exact resolvability, channel capacity with input distribution constraint, and perfect stealth and secrecy communication.


翻译:双分配 $PQX} 美元 和 $PQY} 美元 的最小值功能 美元, 在所有组合 $PXY 美元 美元 美元 和 美元 美元 的最小值 美元? 我们研究这种混合问题 美元 PQXY 美元 的超值 美元 美元 美元 和 美元 美元? 我们研究 美元 美元 和 美元 的超额 美元, 美元 美元 美元 和 美元 美元 美元 。 鉴于 美元 PQX 美元 美元 美元 和 美元 美元 美元 美元 和 美元 美元 美元, 我们研究 美元 的最小值 。

0
下载
关闭预览

相关内容

专知会员服务
51+阅读 · 2020年12月14日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
112+阅读 · 2020年5月15日
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年9月22日
Arxiv
66+阅读 · 2021年6月18日
VIP会员
相关VIP内容
专知会员服务
51+阅读 · 2020年12月14日
Fariz Darari简明《博弈论Game Theory》介绍,35页ppt
专知会员服务
112+阅读 · 2020年5月15日
因果图,Causal Graphs,52页ppt
专知会员服务
253+阅读 · 2020年4月19日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
相关资讯
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员