We introduce Group Spike-and-slab Variational Bayes (GSVB), a scalable method for group sparse regression. A fast co-ordinate ascent variational inference (CAVI) algorithm is developed for several common model families including Gaussian, Binomial and Poisson. Theoretical guarantees for our proposed approach are provided by deriving contraction rates for the variational posterior in grouped linear regression. Through extensive numerical studies, we demonstrate that GSVB provides state-of-the-art performance, offering a computationally inexpensive substitute to MCMC, whilst performing comparably or better than existing MAP methods. Additionally, we analyze three real world datasets wherein we highlight the practical utility of our method, demonstrating that GSVB provides parsimonious models with excellent predictive performance, variable selection and uncertainty quantification.


翻译:本文提出组稀疏与板变分贝叶斯(GSVB),一种适用于组稀疏回归的可扩展方法。针对高斯、二项与泊松等常见模型族,我们开发了快速坐标上升变分推断(CAVI)算法。通过推导分组线性回归中变分后验的收缩率,为所提方法提供了理论保证。大量数值研究表明,GSVB实现了最先进的性能,为MCMC提供了计算成本低廉的替代方案,同时其表现与现有MAP方法相当或更优。此外,我们分析了三个真实世界数据集,突显了本方法的实用价值,证明GSVB能构建具有优异预测性能、变量选择能力和不确定性量化的简约模型。

0
下载
关闭预览

相关内容

Group一直是研究计算机支持的合作工作、人机交互、计算机支持的协作学习和社会技术研究的主要场所。该会议将社会科学、计算机科学、工程、设计、价值观以及其他与小组工作相关的多个不同主题的工作结合起来,并进行了广泛的概念化。官网链接:https://group.acm.org/conferences/group20/
VIP会员
最新内容
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
2+阅读 · 今天11:09
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
1+阅读 · 今天11:05
《反无人机交战场景下的战斗归零研究》
专知会员服务
4+阅读 · 今天2:34
博士论文 | 用代码结构感知方法推进代码大模型
《决策模型比较研究》
专知会员服务
11+阅读 · 7月25日
《美军水下战与海床战概述及本地实施》
专知会员服务
6+阅读 · 7月25日
面向未来冲突推进陆军情报体制改革
专知会员服务
5+阅读 · 7月25日
Top
微信扫码咨询专知VIP会员