Bayesian multinomial logistic regression provides a principled, interpretable approach to multiclass classification, but posterior sampling becomes increasingly expensive as the model dimension grows. Prior work has studied scalability in the number of subjects and covariates; in contrast, this paper focuses on how computation changes as the number of outcome categories increases. To improve scalability in settings with numerous categories, we adapt a gamma-augmentation strategy to decouple category-specific coefficient updates, so that each category's coefficients can be updated conditional on a single auxiliary variable per subject, rather than on the full set of other categories' coefficients. Because the resulting coefficient conditionals are non-conjugate, we couple this augmentation with either adaptive Metropolis-Hastings or elliptical slice sampling. Through simulation and a real-data example, we compare effective sample size and effective sampling rate across several standard competitors. We find that the best-performing sampler depends on the dimension and imbalance regime, and that the proposed augmentation provides substantial speedups in scenarios with numerous categories.


翻译:贝叶斯多项逻辑回归为多类别分类提供了一种原理清晰、可解释性强的方法,但随着模型维度的增加,后验采样变得日益昂贵。先前的研究主要关注样本数量和协变量数量方面的可扩展性;相比之下,本文重点探讨了结果类别数量增加时计算方式的变化。为提升在众多类别场景下的可扩展性,我们采用了一种伽马增强策略来解耦特定类别的系数更新,使得每个类别的系数可以在每个样本仅依赖于单个辅助变量的条件下进行更新,而无需依赖于其他所有类别的完整系数集合。由于由此得到的系数条件分布是非共轭的,我们将此增强策略与自适应Metropolis-Hastings方法或椭圆切片采样方法相结合。通过模拟实验和真实数据案例,我们比较了多种标准对比方法在有效样本量和有效采样率方面的表现。研究发现,性能最佳的采样器取决于数据维度与不平衡程度,且所提出的增强策略在众多类别场景下能显著提升计算速度。

0
下载
关闭预览

相关内容

【干货书】贝叶斯统计分析方法,697页pdf
专知会员服务
126+阅读 · 2021年12月18日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
【经典书】贝叶斯编程,378页pdf,Bayesian Programming
专知会员服务
251+阅读 · 2020年5月18日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
面试题:简单说说贝叶斯定理
七月在线实验室
12+阅读 · 2019年6月12日
博客 | 回归类算法最全综述及逻辑回归重点讲解
AI研习社
13+阅读 · 2018年11月29日
数据分析师应该知道的16种回归方法:负二项回归
数萃大数据
74+阅读 · 2018年9月16日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 3月3日
Arxiv
0+阅读 · 2月5日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
19+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关资讯
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
面试题:简单说说贝叶斯定理
七月在线实验室
12+阅读 · 2019年6月12日
博客 | 回归类算法最全综述及逻辑回归重点讲解
AI研习社
13+阅读 · 2018年11月29日
数据分析师应该知道的16种回归方法:负二项回归
数萃大数据
74+阅读 · 2018年9月16日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
一文读懂贝叶斯分类算法(附学习资源)
大数据文摘
12+阅读 · 2017年12月14日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员