Multiproposal MCMC (MP-MCMC) algorithms use clouds of proposals to efficiently traverse state spaces and overcome complex target geometries. While MCMC methods are embarrassingly parallel by nature, the non-trivial forms of parallelism provided by the MP-MCMC formalism sometimes leads to significant improvements over a naive approach. Here, one important tuning parameter is the number of proposals p used by a single MP-MCMC iteration. While a number of computational strategies have been proposed to efficiently leverage large numbers of proposals within the MP-MCMC paradigm, much remains unknown about these algorithms, particularly in the large p-regime. In this contribution, we discover surprising results by identifying and studying several promising new methods (Algorithm 1.1, Algorithm 3.3, Algorithm 3.4), ruling out other extant approaches and discovering new relationships between different MP-MCMC methodologies. Our analysis is centered on a general state space multiproposal involutive theory recently constructed by the authors combined with the consideration of the large p-limit kernels for MP-MCMC algorithms within a variety of different classes of proposal and acceptance structures.


翻译:多提议MCMC(MP-MCMC)算法通过使用提议云来高效遍历状态空间并克服复杂目标几何结构。尽管MCMC方法本质上具有天然并行性,但MP-MCMC形式化框架提供的非平凡并行形式有时能显著超越朴素方法。其中,单次MP-MCMC迭代使用的提议数p是关键调优参数。尽管已有多种计算策略被提出以在MP-MCMC范式中高效利用大量提议,但关于这些算法尤其是在大p区间的特性仍存在大量未知。在本研究中,我们通过识别并分析若干有前景的新方法(算法1.1、算法3.3、算法3.4),排除了其他现有方案,并揭示了不同MP-MCMC方法间的新关联,发现了令人惊讶的结果。我们的分析基于作者近期构建的通用状态空间多提议对合理论,并结合了对不同提议与接受结构类别中MP-MCMC算法的大p极限核的考量。

0
下载
关闭预览

相关内容

【2023新书】并行算法,Parallel Algorithms ,400页pdf
专知会员服务
72+阅读 · 2023年8月6日
《多任务学习》最新综述论文,20页pdf
专知会员服务
127+阅读 · 2021年4月6日
专知会员服务
149+阅读 · 2020年9月6日
不用数学讲清马尔可夫链蒙特卡洛方法?
算法与数学之美
16+阅读 · 2018年8月8日
并行算法演进,从MapReduce到MPI
凡人机器学习
10+阅读 · 2017年11月5日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
3+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员