We present a novel Bayesian approach for high-dimensional grouped regression under sparsity. We leverage a sparse projection method that uses a sparsity-inducing map to derive an induced posterior on a lower-dimensional parameter space. Our method introduces three distinct projection maps based on popular penalty functions: the Group LASSO Projection Posterior, Group SCAD Projection Posterior, and Adaptive Group LASSO Projection Posterior. Each projection map is constructed to immerse dense posterior samples into a structured, sparse space, allowing for effective group selection and estimation in high-dimensional settings. We derive optimal posterior contraction rates for estimation and prediction, proving that the methods are model selection consistent. Additionally, we propose a Debiased Group LASSO Projection Map, which ensures exact coverage of credible sets. Our methodology is particularly suited for applications in nonparametric additive models, where we apply it with B-spline expansions to capture complex relationships between covariates and response. Extensive simulations validate our theoretical findings, demonstrating the robustness of our approach across different settings. Finally, we illustrate the practical utility of our method with an application to brain MRI volume data from the Alzheimer's Disease Neuroimaging Initiative (ADNI), where our model identifies key brain regions associated with Alzheimer's progression.


翻译:本文提出了一种新颖的贝叶斯方法,用于稀疏假设下的高维分组回归。我们利用稀疏投影方法,通过引入稀疏诱导映射在高维参数空间的低维子空间上推导出诱导后验分布。基于三种常见罚函数,我们的方法构建了三种不同的投影映射:Group LASSO投影后验、Group SCAD投影后验和自适应Group LASSO投影后验。每个投影映射旨在将稠密后验样本嵌入结构化的稀疏空间,从而在高维场景中实现有效的组变量选择和估计。我们推导了估计与预测的最优后验收缩速率,证明该方法具有模型选择一致性。此外,我们提出了去偏Group LASSO投影映射,确保可信集的精确覆盖。该方法特别适用于非参数加性模型,我们结合B样条展开以捕捉协变量与响应变量间的复杂关系。大量仿真实验验证了我们的理论结果,在不同场景下展现了方法的鲁棒性。最后,我们将该方法应用于阿尔茨海默病神经影像学倡议(ADNI)的大脑MRI体积数据,模型成功识别出与阿尔茨海默病进展相关的关键脑区。

0
下载
关闭预览

相关内容

【CMU博士论文】基于深度学习的高效贝叶斯实验设计
专知会员服务
18+阅读 · 2025年8月19日
【CVPR2024】贝叶斯扩散模型用于三维形状重建
专知会员服务
34+阅读 · 2024年3月12日
【干货书】贝叶斯统计分析方法,697页pdf
专知会员服务
126+阅读 · 2021年12月18日
专知会员服务
33+阅读 · 2021年5月18日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员