Metropolis-Hastings (MH) is a foundational Markov chain Monte Carlo (MCMC) algorithm. In this paper, we ask whether it is possible to formulate and analyse MH in terms of categorical probability, using a recent involutive framework for MH-type procedures as a concrete case study. We show how basic MCMC concepts such as invariance and reversibility can be formulated in Markov categories, and how one part of the MH kernel can be analysed using standard CD categories. To go further, we then study enrichments of CD categories over commutative monoids. This gives an expressive setting for reasoning abstractly about a range of important probabilistic concepts, including substochastic kernels, finite and $σ$-finite measures, absolute continuity, singular measures, and Lebesgue decompositions. Using these tools, we give synthetic necessary and sufficient conditions for a general MH-type sampler to be reversible with respect to a given target distribution.


翻译:Metropolis-Hastings(MH)算法是基础的马尔可夫链蒙特卡洛(MCMC)方法。本文探讨了能否借助范畴概率理论来形式化并分析MH算法,并以近期提出的针对MH类过程的对合框架作为具体案例进行研究。我们展示了如何用马尔可夫范畴表述MCMC的基本概念(如不变性与可逆性),以及如何利用标准CD范畴分析MH核的一部分。为进一步深入,我们研究了CD范畴在交换幺半群上的丰富化结构。这为抽象推理一系列重要概率概念提供了富有表现力的框架,包括子随机核、有限测度与$σ$有限测度、绝对连续性、奇异测度以及勒贝格分解。运用这些工具,我们给出了MH类采样器相对于给定目标分布具有可逆性的综合必要与充分条件。

0
下载
关闭预览

相关内容

在数学和计算机科学之中,算法(Algorithm)为一个计算的具体步骤,常用于计算、数据处理和自动推理。精确而言,算法是一个表示为有限长列表的有效方法。算法应包含清晰定义的指令用于计算函数。 来自维基百科: 算法
大语言模型时代的城市计算
专知会员服务
21+阅读 · 2025年4月4日
从计算理论看语言模型的scaling law和多模态模型的发展
专知会员服务
29+阅读 · 2024年6月27日
【牛津大学博士论文】量子自然语言处理范畴论,270页pdf
专知会员服务
21+阅读 · 2022年12月16日
【经典书】计算理论导论,482页pdf
专知会员服务
86+阅读 · 2021年4月10日
不用数学讲清马尔可夫链蒙特卡洛方法?
算法与数学之美
16+阅读 · 2018年8月8日
【论文】深度学习的数学解释
机器学习研究会
10+阅读 · 2017年12月15日
干货|通俗易懂地解释EM算法并举例说明?
机器学习研究会
12+阅读 · 2017年11月17日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员