Lifted samplers form a class of Markov chain Monte Carlo methods which has drawn a lot attention in recent years due to superior performance in challenging Bayesian applications. A canonical example of such sampler is the one that is derived from a random walk Metropolis algorithm for a totally-ordered state space such as the integers or the real numbers. The lifted sampler is derived by splitting into two the proposal distribution: one part in the increasing direction, and the other part in the decreasing direction. It keeps following a direction, until a rejection occurs, upon which it flips the direction. In terms of asymptotic variances, it outperforms the random walk Metropolis algorithm, regardless of the target distribution, at no additional computational cost. Other studies show, however, that beyond this simple case, lifted samplers do not always outperform their Metropolis counterparts. In this paper, we leverage the celebrated work of Tierney (1998) to provide an analysis in a general framework encompassing a broad class of lifted samplers. Our finding is that, essentially, the asymptotic variances cannot increase by a factor of more than 2, regardless of the target distribution, the way the directions are induced, and the type of algorithm from which the lifted sampler is derived (be it a Metropolis--Hastings algorithm, a reversible jump algorithm, etc.). This result indicates that, while there is potentially a lot to gain from lifting a sampler, there is not much to lose.


翻译:提升采样器作为一类马尔可夫链蒙特卡罗方法,近年来因其在挑战性贝叶斯应用中的卓越性能而备受关注。此类采样器的一个典型示例源自针对全序状态空间(如整数或实数)的随机游走Metropolis算法。提升采样器通过将提议分布拆分为两部分得到:一部分沿递增方向,另一部分沿递减方向。该采样器持续沿某一方向移动,直至发生拒绝事件,此时翻转方向。就渐近方差而言,无论目标分布如何,它在不增加计算成本的前提下均优于随机游走Metropolis算法。然而,其他研究表明,超越这一简单情形后,提升采样器并非总能优于其对应的Metropolis算法变体。本文基于Tierney(1998)的经典工作,在涵盖广泛提升采样器类别的通用框架下进行分析。我们的研究发现,无论目标分布、方向诱导方式及提升采样器所源自的算法类型(包括Metropolis-Hastings算法、可逆跳转算法等),其渐近方差至多不会增加超过2倍。这一结果表明,虽然提升采样器可能带来显著增益,但其潜在损失极为有限。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
专知会员服务
25+阅读 · 2021年7月31日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
专知会员服务
25+阅读 · 2021年7月31日
相关资讯
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员