We propose the approximate Laplace approximation (ALA) to evaluate integrated likelihoods, a bottleneck in Bayesian model selection. The Laplace approximation (LA) is a popular tool that speeds up such computation and equips strong model selection properties. However, when the sample size is large or one considers many models the cost of the required optimizations becomes impractical. ALA reduces the cost to that of solving a least-squares problem for each model. Further, it enables efficient computation across models such as sharing pre-computed sufficient statistics and certain operations in matrix decompositions. We prove that in generalized (possibly non-linear) models ALA achieves a strong form of model selection consistency, at the same functional rates as exact computation. We consider fixed- and high-dimensional problems, group and hierarchical constraints, and the possibility that all models are misspecified. We also obtain ALA rates for Gaussian regression under non-local priors, an important example where the LA can be costly and does not consistently estimate the integrated likelihood. Our examples include non-linear regression, logistic, Poisson and survival models. We implement the methodology in the R package mombf.


翻译:我们建议使用大致拉普尔近似(ALA)来评估综合可能性、巴伊西亚模式选择中的瓶颈。拉普尔近近似(LA)是一个常用工具,可以加速这种计算,并装备强大的模型选择属性。然而,当样本规模大或认为许多模型时,所需的优化成本就变得不切实际。拉普尔近近近近近近(ALA)可以将成本降低到解决每种模型的最低方问题的成本。此外,它还能够有效地计算出各种模型,例如共享预先计算过的充分统计数据和矩阵分解中的某些操作。我们证明,在通用(可能非线性)模型中,ALA实现了一种强烈的模型选择一致性,其功能率与精确计算相同。我们考虑到固定和高方的问题、组和等级限制,以及所有模型被错误描述的可能性。我们还获得了非本地前期高方回归率的ALA率,这是一个重要的例子,使得LA成本可能很高,并且不连贯地估计综合的可能性。我们的例子包括非线性回归、物流、Poisson和生存模型。我们在MOMb中采用的方法。

0
下载
关闭预览

相关内容

【干货书】机器学习速查手册,135页pdf
专知会员服务
127+阅读 · 2020年11月20日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
已删除
将门创投
4+阅读 · 2019年11月8日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
0+阅读 · 2021年2月16日
Arxiv
0+阅读 · 2021年2月12日
Arxiv
0+阅读 · 2021年2月12日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
最新内容
乌克兰前线的五项创新
专知会员服务
1+阅读 · 32分钟前
 军事通信系统与设备的技术演进综述
专知会员服务
1+阅读 · 47分钟前
《北约标准:医疗评估手册》174页
专知会员服务
1+阅读 · 55分钟前
《提升生成模型的安全性与保障》博士论文
专知会员服务
0+阅读 · 59分钟前
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
8+阅读 · 4月19日
澳大利亚发布《国防战略(2026年)》
专知会员服务
4+阅读 · 4月19日
全球高超音速武器最新发展趋势
专知会员服务
3+阅读 · 4月19日
相关VIP内容
相关资讯
已删除
将门创投
4+阅读 · 2019年11月8日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员