Let $S$ and $\tilde S$ be two independent and identically distributed random variables, which we interpret as the signal, and let $P_1$ and $P_2$ be two communication channels. We can choose between two measurement scenarios: either we observe $S$ through $P_1$ and $P_2$, and also $\tilde S$ through $P_1$ and $P_2$; or we observe $S$ twice through $P_1$, and $\tilde{S}$ twice through $P_2$. In which of these two scenarios do we obtain the most information on the signal $(S, \tilde S)$? While the first scenario always yields more information when $P_1$ and $P_2$ are additive Gaussian channels, we give examples showing that this property does not extend to arbitrary channels. As a consequence of this result, we show that the continuous-time mutual information arising in the setting of community detection on sparse stochastic block models is not concave, even in the limit of large system size. This stands in contrast to the case of models with diverging average degree, and brings additional challenges to the analysis of the asymptotic behavior of this quantity.


翻译:令 $S$ 和 $\tilde S$ 为两个独立同分布的随机变量(将其视为信号),$P_1$ 和 $P_2$ 为两个通信信道。我们可在以下两种测量方案中选择:要么通过 $P_1$ 和 $P_2$ 观测 $S$,同时通过 $P_1$ 和 $P_2$ 观测 $\tilde S$;要么通过 $P_1$ 两次观测 $S$,通过 $P_2$ 两次观测 $\tilde S$。在这两种方案中,哪一种能获得关于信号 $(S, \tilde S)$ 的最大信息量?尽管当 $P_1$ 和 $P_2$ 为加性高斯信道时,第一种方案总能获得更多信息,但我们通过实例表明,该性质并不适用于任意信道。基于此结果,我们进一步证明:在稀疏随机块模型的社区检测场景中,连续时间互信息即使在系统规模趋于无穷的极限下也不具有凹性。这与平均度发散模型的情况形成鲜明对比,并为分析该量的渐近行为带来了额外挑战。

0
下载
关闭预览

相关内容

不可错过!《机器学习100讲》课程,UBC Mark Schmidt讲授
专知会员服务
76+阅读 · 2022年6月28日
专知会员服务
23+阅读 · 2021年6月22日
专知会员服务
52+阅读 · 2020年12月14日
专知会员服务
63+阅读 · 2020年3月4日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
概率论和机器学习中的不等式
PaperWeekly
3+阅读 · 2022年11月9日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
vae学习笔记
CreateAMind
22+阅读 · 2019年6月18日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月27日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
专知会员服务
3+阅读 · 今天7:28
消耗优势:美军的“精确规模化”概念
专知会员服务
7+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
俄乌战场地面机器人如何改写战争规则
专知会员服务
9+阅读 · 6月14日
相关资讯
概率论和机器学习中的不等式
PaperWeekly
3+阅读 · 2022年11月9日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
vae学习笔记
CreateAMind
22+阅读 · 2019年6月18日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
vae 相关论文 表示学习 1
CreateAMind
12+阅读 · 2018年9月6日
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员