We propose the approximate Laplace approximation (ALA) to evaluate integrated likelihoods, a bottleneck in Bayesian model selection. The Laplace approximation (LA) is a popular tool that speeds up such computation and equips strong model selection properties. However, when the sample size is large or one considers many models the cost of the required optimizations becomes impractical. ALA reduces the cost to that of solving a least-squares problem for each model. Further, it enables efficient computation across models such as sharing pre-computed sufficient statistics and certain operations in matrix decompositions. We prove that in generalized (possibly non-linear) models ALA achieves a strong form of model selection consistency, at the same functional rates as exact computation. We consider fixed- and high-dimensional problems, group and hierarchical constraints, and the possibility that all models are misspecified. We also obtain ALA rates for Gaussian regression under non-local priors, an important example where the LA can be costly and does not consistently estimate the integrated likelihood. Our examples include non-linear regression, logistic, Poisson and survival models. We implement the methodology in the R package mombf.


翻译:我们建议使用大致拉普尔近似(ALA)来评估综合可能性、巴伊西亚模式选择中的瓶颈。拉普尔近近似(LA)是一个常用工具,可以加速这种计算,并装备强大的模型选择属性。然而,当样本规模大或认为许多模型时,所需的优化成本就变得不切实际。拉普尔近近近近近近(ALA)可以将成本降低到解决每种模型的最低方问题的成本。此外,它还能够有效地计算出各种模型,例如共享预先计算过的充分统计数据和矩阵分解中的某些操作。我们证明,在通用(可能非线性)模型中,ALA实现了一种强烈的模型选择一致性,其功能率与精确计算相同。我们考虑到固定和高方的问题、组和等级限制,以及所有模型被错误描述的可能性。我们还获得了非本地前期高方回归率的ALA率,这是一个重要的例子,使得LA成本可能很高,并且不连贯地估计综合的可能性。我们的例子包括非线性回归、物流、Poisson和生存模型。我们在MOMb中采用的方法。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
已删除
将门创投
4+阅读 · 2019年11月8日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年2月16日
Arxiv
0+阅读 · 2021年2月12日
Arxiv
0+阅读 · 2021年2月12日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
最新内容
ICML 2026 | 演化选择的因果建模
专知会员服务
0+阅读 · 今天15:45
综述|学习式3D表征最新进展与趋势
专知会员服务
1+阅读 · 今天15:37
人工智能重塑威慑:算法优势的兴起
专知会员服务
3+阅读 · 今天14:27
AgentOps综述:智能体系统运维框架
专知会员服务
14+阅读 · 6月4日
《美陆军最新条令:兵力防护》
专知会员服务
9+阅读 · 6月4日
《人工智能的挑战:算法战的想象与现实》
专知会员服务
11+阅读 · 6月4日
首场人工智能战争:Maven如何重塑武装冲突
专知会员服务
7+阅读 · 6月4日
相关VIP内容
相关资讯
已删除
将门创投
4+阅读 · 2019年11月8日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员