Bayesian Additive Regression Trees (BART) is a powerful statistical model that leverages the strengths of Bayesian inference and regression trees. It has received significant attention for capturing complex non-linear relationships and interactions among predictors. However, the accuracy of BART often comes at the cost of interpretability. To address this limitation, we propose ANOVA Bayesian Additive Regression Trees (ANOVA-BART), a novel extension of BART based on the functional ANOVA decomposition, which is used to decompose the variability of a function into different interactions, each representing the contribution of a different set of covariates or factors. Our proposed ANOVA-BART enhances interpretability, preserves and extends the theoretical guarantees of BART, and achieves comparable prediction performance. Specifically, we establish that the posterior concentration rate of ANOVA-BART is nearly minimax optimal, and further provides the same convergence rates for each interaction that are not available for BART. Moreover, comprehensive experiments confirm that ANOVA-BART is comparable to BART in both accuracy and uncertainty quantification, while also demonstrating its effectiveness in component selection. These results suggest that ANOVA-BART offers a compelling alternative to BART by balancing predictive accuracy, interpretability, and theoretical consistency.


翻译:贝叶斯加性回归树(BART)是一种结合贝叶斯推断与回归树优势的强大统计模型,因其能够捕捉预测变量间复杂的非线性关系与交互作用而备受关注。然而,BART的准确性往往以可解释性为代价。为克服这一局限,我们提出基于函数方差分析分解的ANOVA贝叶斯加性回归树(ANOVA-BART)——该新型扩展模型通过函数方差分析将函数变异性分解为不同交互项,每项代表不同协变量或因子集合的贡献。我们提出的ANOVA-BART在提升可解释性的同时,保持并拓展了BART的理论保证,且获得了相当的预测性能。具体而言,我们证明ANOVA-BART的后验集中率近乎达到极小极大最优,并进一步为每个交互项提供了BART所不具备的相同收敛速率。此外,综合实验证实ANOVA-BART在预测精度与不确定性量化方面与BART相当,同时展现出优异的成分选择能力。这些结果表明,ANOVA-BART通过平衡预测准确性、可解释性与理论一致性,为BART提供了具有竞争力的替代方案。

0
下载
关闭预览

相关内容

【2023新书】贝叶斯统计建模:使用Stan、R和Python,395页pdf
【干货书】贝叶斯统计分析方法,697页pdf
专知会员服务
124+阅读 · 2021年12月18日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
【2022新书】贝叶斯建模与Python建模
专知
19+阅读 · 2022年1月9日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
【2023新书】贝叶斯统计建模:使用Stan、R和Python,395页pdf
【干货书】贝叶斯统计分析方法,697页pdf
专知会员服务
124+阅读 · 2021年12月18日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
相关资讯
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员