Probabilistic linear solvers (PLSs) return probability distributions that quantify uncertainty due to limited computation in the solution of linear systems. The literature has traditionally distinguished between Bayesian PLSs, which condition a prior on information obtained from projections of the linear system, and probabilistic iterative methods (PIMs), which lift classical iterative solvers to probability space. In this work we show this dichotomy to be false: Bayesian PLSs are a special case of non-stationary affine PIMs. In addition, we prove that any realistic affine PIM is calibrated. These results motivate a focus on (non-stationary) affine PIMs, but their practical adoption has been limited by the significant manual effort required to implement them. To address this, we introduce affine tracing, an algorithmic framework that automatically constructs a PIM from a standard implementation of an affine iterative method by passing symbolic tracers through the computation to build an affine computational graph. We show how this graph can be transformed to compute posterior covariances, and how equality saturation can be used to perform algebraic simplifications required for computation under specific prior choices. We demonstrate the framework by automatically generating a probabilistic multigrid solver and evaluate its performance in the context of Gaussian process approximation.


翻译:概率线性求解器(PLS)返回概率分布,用于量化线性系统求解过程中因有限计算而产生的不确定性。传统文献将贝叶斯PLS(基于线性系统投影信息对先验进行条件化)与概率迭代方法(PIM,将经典迭代求解器提升至概率空间)区分为两类。本文证明这一二分法是错误的:贝叶斯PLS是非平稳仿射PIM的特例。此外,我们证明任何实际仿射PIM都是校准的。这些结论促使学界聚焦(非平稳)仿射PIM,但其实际应用受限于实现所需的大量人工操作。为此,我们提出仿射追踪——一种通过向计算过程传递符号追踪器以构建仿射计算图,从而从仿射迭代方法的标准实现中自动构建PIM的算法框架。本文展示了如何将该计算图转化为后验协方差计算,以及如何利用等式饱和技术在特定先验选择下执行所需的代数简化。我们通过自动生成概率多重网格求解器验证该框架,并在高斯过程近似场景中评估其性能。

0
下载
关闭预览

相关内容

【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路
专知会员服务
15+阅读 · 2024年10月31日
【NeurIPS2023】强化学习中的概率推理:正确的方法
专知会员服务
28+阅读 · 2023年11月25日
概率图模型体系:HMM、MEMM、CRF
机器学习研究会
30+阅读 · 2018年2月10日
概率论之概念解析:边缘化(Marginalisation)
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
一文读懂机器学习概率图模型(附示例&学习资源)
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关VIP内容
【NeurIPS2024】将连续潜在变量模型扩展为概率积分电路
专知会员服务
15+阅读 · 2024年10月31日
【NeurIPS2023】强化学习中的概率推理:正确的方法
专知会员服务
28+阅读 · 2023年11月25日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员