We study provably correct and efficient instantiations of Sequential Monte Carlo (SMC) inference in the context of formal operational semantics of Probabilistic Programs (PPs). We focus on universal PPs featuring sampling from arbitrary measures and conditioning/reweighting in unbounded loops. We first equip Probabilistic Program Graphs (PPGs), an automata-theoretic description format of PPs, with an expectation-based semantics over infinite execution traces, which also incorporates trace weights. We then prove a finite approximation theorem that provides bounds to this semantics based on expectations taken over finite, fixed-length traces. This enables us to frame our semantics within a Feynman-Kac (FK) model, and ensures the consistency of the Particle Filtering (PF) algorithm, an instance of SMC, with respect to our semantics. Building on these results, we introduce VPF, a vectorized version of the PF algorithm tailored to PPGs and our semantics. Experiments conducted with a proof-of-concept implementation of VPF show very promising results compared to state-of-the-art PP inference tools.


翻译:我们研究在概率程序形式化操作语义的背景下,序贯蒙特卡洛推理的可证明正确且高效的实例化。我们聚焦于通用概率程序,其特点包括从任意测度中采样以及在无界循环中进行条件化/重加权。首先,我们为概率程序图(一种概率程序的自动机理论描述格式)赋予基于无穷执行轨迹的期望语义,该语义同时融入轨迹权重。随后,我们证明一个有限逼近定理,该定理基于有限固定长度轨迹上的期望为此语义提供界。这使我们能够将语义纳入费曼-卡茨模型框架,并确保作为序贯蒙特卡洛实例的粒子滤波算法相对于该语义的一致性。基于这些结果,我们引入VPF——一种针对概率程序图和该语义定制的向量化粒子滤波算法。通过VPF概念验证实现进行的实验表明,与最先进的概率程序推理工具相比,其结果颇具前景。

0
下载
关闭预览

相关内容

【新书】《实用概率编程》,458页pdf
专知会员服务
54+阅读 · 2024年10月23日
专知会员服务
74+阅读 · 2021年6月12日
【课程】概率图模型,卡内基梅隆大学邢波
专知会员服务
70+阅读 · 2019年11月4日
【硬核书】树与网络上的概率,716页pdf
专知
24+阅读 · 2021年12月8日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
一文读懂机器学习概率图模型(附示例&学习资源)
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关主题
最新内容
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
2+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
5+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
7+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
6+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
相关VIP内容
【新书】《实用概率编程》,458页pdf
专知会员服务
54+阅读 · 2024年10月23日
专知会员服务
74+阅读 · 2021年6月12日
【课程】概率图模型,卡内基梅隆大学邢波
专知会员服务
70+阅读 · 2019年11月4日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员