The No-U-Turn Sampler (NUTS) is the computational workhorse of modern Bayesian software libraries, yet its qualitative and quantitative convergence guarantees were established only recently. A significant gap remains in the theoretical comparison of its two main variants: NUTS-mul and NUTS-BPS, which use multinomial sampling and biased progressive sampling, respectively, for index selection. In this paper, we address this gap in three contributions. First, we derive the first necessary conditions for geometric ergodicity for both variants. Second, we establish the first sufficient conditions for geometric ergodicity and ergodicity for NUTS-mul. Third, we obtain the first mixing time result for NUTS-BPS on a standard Gaussian distribution. Our results show that NUTS-mul and NUTS-BPS exhibit nearly identical qualitative behavior, with geometric ergodicity depending on the tail properties of the target distribution. However, they differ quantitatively in their convergence rates. More precisely, when initialized in the typical set of the canonical Gaussian measure, the mixing times of both NUTS-mul and NUTS-BPS scale as $O(d^{1/4})$ up to logarithmic factors, where $d$ denotes the dimension. Nevertheless, the associated constants are strictly smaller for NUTS-BPS.


翻译:无回转采样器(NUTS)是现代贝叶斯软件库的计算核心,但其定性与定量收敛性保证直到近期才得以确立。在其两种主要变体NUTS-mul(采用多项式采样)和NUTS-BPS(采用有偏渐进采样进行索引选择)之间的理论比较仍存在显著空白。本文通过三项贡献填补了这一空白:首先,我们推导了两种变体几何遍历性的首个必要条件;其次,建立了NUTS-mul几何遍历性与遍历性的首个充分条件;第三,获得了NUTS-BPS在标准高斯分布上的首个混合时间结果。结果表明,NUTS-mul与NUTS-BPS展现近乎一致的定性行为,其几何遍历性取决于目标分布的尾部性质,但在收敛速率上存在定量差异。具体而言,当初始化于标准高斯测度的典型集时,两种采样器的混合时间均以$O(d^{1/4})$量级缩放(包含对数因子),其中$d$表示维度。然而,NUTS-BPS的相应常数严格小于NUTS-mul。

0
下载
关闭预览

相关内容

【AAAI2021】对比聚类,Contrastive Clustering
专知
26+阅读 · 2021年1月30日
深入理解BERT Transformer ,不仅仅是注意力机制
大数据文摘
22+阅读 · 2019年3月19日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
边缘计算的军事应用
专知会员服务
5+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
8+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
13+阅读 · 8月7日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员