A common assumption in theoretical models of Bayesian inference is that the signal has i.i.d. components. To study the effect of correlations in the signal prior, we consider a minimal model: the planted spin glass on random regular graphs, where the signal is sampled from an Ising model with coupling $κ$. Depending on the phase of the prior, we find that adding structure in the signal can either help or hinder inference. In the paramagnetic regime, correlations in the signal lower the reconstruction threshold, so that weaker signal strength is sufficient for recovery. In the ferromagnetic regime, the prior alone already enables partial recovery, and we identify the threshold above which the observations provide additional information. When the prior itself is in a replica symmetry breaking (RSB) phase, we detect a static RSB transition in the posterior under Nishimori conditions. This provides an example where a non-separable, correlated prior leads to static RSB in a Bayes-optimal inference problem. We discuss the consequences of this glassy phase for algorithmic performance, in particular for Belief Propagation.


翻译:暂无翻译

0
下载
关闭预览

相关内容

因果推断,Causal Inference:The Mixtape
专知会员服务
111+阅读 · 2021年8月27日
面试题:简单说说贝叶斯定理
七月在线实验室
12+阅读 · 2019年6月12日
论文浅尝 | 用可微的逻辑规则学习完成知识库推理
开放知识图谱
14+阅读 · 2018年7月5日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关主题
最新内容
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
7+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
8+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
9+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
13+阅读 · 10月13日
相关VIP内容
因果推断,Causal Inference:The Mixtape
专知会员服务
111+阅读 · 2021年8月27日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员