Slice sampling is a standard Monte Carlo technique for Dirichlet process (DP)-based models, widely used in posterior simulation. However, formal assessments of the scalability of posterior slice samplers have remained largely unexplored, primarily because the computational cost of a slice-sampling iteration is random and potentially unbounded. In this work, we obtain high-probability bounds on the computational complexity of DP slice samplers. Our main results show that, uniformly across posterior cluster-growth regimes, the overhead induced by slice variables, relatively to the number of clusters supported by the posterior, is $O_{\mathbb P}(\log n)$. As a consequence, even in worst-case configurations, superlinear blow-ups in per-iteration computational cost occur with vanishing probability. Our analysis applies broadly to DP-based models without any likelihood-specific assumptions, still providing complexity guarantees for posterior sampling on arbitrary datasets. These results establish a theoretical foundation for assessing the practical scalability of slice sampling in DP-based models.


翻译:切片采样是用于基于狄利克雷过程模型的标准蒙特卡洛技术,在后验模拟中被广泛使用。然而,后验切片采样器可扩展性的形式化评估在很大程度上仍未得到探索,这主要是因为切片采样单次迭代的计算成本是随机的且可能无界。在本工作中,我们获得了狄利克雷过程切片采样器计算复杂度的高概率界限。我们的主要结果表明,在后验聚类增长机制中,相对于后验支持的聚类数量,由切片变量引起的开销均匀地为 $O_{\mathbb P}(\log n)$。因此,即使在最坏情况下,每次迭代计算成本的超线性激增也以趋于零的概率发生。我们的分析广泛适用于基于狄利克雷过程的模型,无需任何似然函数特定假设,仍能为任意数据集上的后验采样提供复杂度保证。这些结果为评估切片采样在基于狄利克雷过程的模型中的实际可扩展性奠定了理论基础。

0
下载
关闭预览

相关内容

扩散模型图像超分辨率等综述
专知会员服务
25+阅读 · 2024年1月2日
【MIT博士论文】利用深度学习改进医学影像分割,165页pdf
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
【APC】先进过程控制系统(APC: Advanced Process Control)
产业智能官
69+阅读 · 2020年7月12日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
干货 | 一文详解隐含狄利克雷分布(LDA)
人工智能头条
10+阅读 · 2018年7月8日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月29日
Arxiv
0+阅读 · 1月29日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员