Iterated sampling importance resampling (i-SIR) is a Markov chain Monte Carlo (MCMC) algorithm which is based on $N$ independent proposals. As $N$ grows, its samples become nearly independent, but with an increased computational cost. We discuss a method which finds an approximately optimal number of proposals $N$ in terms of the asymptotic efficiency. The optimal $N$ depends on both the mixing properties of the i-SIR chain and the (parallel) computing costs. Our method for finding an appropriate $N$ is based on an approximate asymptotic variance of the i-SIR, which has similar properties as the i-SIR asymptotic variance, and a generalised i-SIR transition having fractional `number of proposals.' These lead to an adaptive i-SIR algorithm, which tunes the number of proposals automatically during sampling. Our experiments demonstrate that our approximate efficiency and the adaptive i-SIR algorithm have promising empirical behaviour. We also present new theoretical results regarding the i-SIR, such as the convexity of asymptotic variance in the number of proposals, which can be of independent interest.


翻译:迭代采样重要性重采样(i-SIR)是一种基于$N$个独立提议的马尔可夫链蒙特卡洛(MCMC)算法。随着$N$增大,其样本趋于近似独立,但计算成本随之增加。本文讨论了一种根据渐近效率近似确定最优提议数量$N$的方法。最优$N$取决于i-SIR链的混合特性与(并行)计算成本。我们确定合适$N$的方法基于i-SIR的近似渐近方差——该方差具有与i-SIR渐近方差相似的性质,以及具有分数“提议数量”的广义i-SIR转移核。这些推导引出了自适应i-SIR算法,该算法能在采样过程中自动调整提议数量。实验表明,我们的近似效率度量与自适应i-SIR算法均展现出良好的实证性能。本文还提出了关于i-SIR的新理论结果,例如渐近方差在提议数量上的凸性,这些结果可能具有独立的理论价值。

0
下载
关闭预览

相关内容

UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
【AAAI2023】少样本无监督域适应中的高层语义特征
专知会员服务
16+阅读 · 2023年1月8日
【ICML2022】Sharp-MAML:锐度感知的模型无关元学习
专知会员服务
17+阅读 · 2022年6月10日
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月8日
VIP会员
相关VIP内容
UnHiPPO:面向不确定性的状态空间模型初始化方法
专知会员服务
11+阅读 · 2025年6月6日
【AAAI2023】少样本无监督域适应中的高层语义特征
专知会员服务
16+阅读 · 2023年1月8日
【ICML2022】Sharp-MAML:锐度感知的模型无关元学习
专知会员服务
17+阅读 · 2022年6月10日
【ICLR2022】GNN-LM基于全局信息的图神经网络语义理解模型
相关资讯
【CVPR2021】跨模态检索的概率嵌入
专知
17+阅读 · 2021年3月2日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
CNN 反向传播算法推导
统计学习与视觉计算组
30+阅读 · 2017年12月29日
EKF常用于目标跟踪系统的扩展卡尔曼滤波器
无人机
10+阅读 · 2017年7月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员