We investigate the existence and severity of local modes in posterior distributions from Bayesian analyses. These are known to occur in posterior tails resulting from heavy-tailed error models such as those used in robust regression. To understand this phenomenon clearly, we consider in detail location models with Student-$t$ errors in dimension $d$ with sample size $n$. For sufficiently heavy-tailed data-generating distributions, extreme observations become increasingly isolated as $n \to \infty$. We show that each such observation induces a unique local posterior mode with probability tending to $1$. We refer to such a local mode as a micromode. These micromodes are typically small in height but their domains of attraction are large and grow polynomially with $n$. We then connect this posterior geometry to computation. We establish an Arrhenius law for the time taken by one-dimensional piecewise deterministic Monte Carlo algorithms to exit these micromodes. Our analysis identifies a phase transition where a misspecified and overly underdispersed model causes exit times to increase sharply, leading to a pronounced deterioration in sampling performance.


翻译:本研究探讨贝叶斯分析中后验分布局部模式的存在性与严重程度。已知此类模式常出现在由厚尾误差模型(如稳健回归所用模型)导致的后验尾部。为清晰理解该现象,我们详细考察维度$d$、样本量$n$下具有Student-$t$误差的位置模型。对于充分厚尾的数据生成分布,极端观测值会随着$n \to \infty$而日益孤立。我们证明每个此类观测值以概率趋于$1$诱导出唯一的局部后验模式,并将其称为微模式。这些微模式通常高度较小,但其吸引域范围较大且随$n$多项式增长。随后我们将此后验几何结构与计算过程相联系,建立了一维分段确定性蒙特卡洛算法脱离这些微模式所需时间的阿伦尼乌斯定律。分析揭示了一个相变现象:当模型设定错误且过度欠分散时,脱离时间会急剧增加,导致采样性能显著恶化。

0
下载
关闭预览

相关内容

【CMU博士论文】分布偏移下的不确定性量化,226页pdf
专知会员服务
31+阅读 · 2023年9月30日
专知会员服务
33+阅读 · 2021年5月18日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
面试题:简单说说贝叶斯定理
七月在线实验室
12+阅读 · 2019年6月12日
浅谈贝叶斯和MCMC
AI100
14+阅读 · 2018年6月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关资讯
面试题:简单说说贝叶斯定理
七月在线实验室
12+阅读 · 2019年6月12日
浅谈贝叶斯和MCMC
AI100
14+阅读 · 2018年6月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员