The Jacobi prior offers an alternative Bayesian framework, designed to achieve superior computational efficiency without compromising predictive performance. Compared to widely used methods such as Lasso, Ridge, Elastic Net, uniLasso, the MCMC-based Horseshoe prior, and non-Bayesian machine learning methods including Support Vector Machines (SVM), Random Forests, and Extreme Gradient Boosting (XGBoost), the Jacobi prior achieves competitive or better accuracy with significantly reduced computational cost. The method is well suited to distributed computing environments, as it naturally accommodates partitioned data across multiple servers. We propose a parallelisable Monte Carlo algorithm to quantify the uncertainty in the estimated coefficients. We establish that the Jacobi estimator is asymptotically close to, and asymptotically equivalent to, the posterior mode under the Jacobi prior. To demonstrate its practical utility, we conduct a comprehensive simulation study comprising seven experiments focused on statistical consistency, prediction accuracy, scalability, sensitivity analysis and robustness study. We further present three real-data applications multi-class classification of stars, quasars, and galaxies using Sloan Digital Sky Survey data, and spinal degeneration classification using sagittal MRI scans from the RSNA 2024 Lumbar Spine Degenerative Classification Challenge. In the spine classification task, we extract last-layer features from a fine-tuned ResNet-50 model and evaluate multiple classifiers, including Jacobi-Multinomial logit regression, SVM, and Random Forest. All code and datasets used in this paper are available at: https://github.com/sourish-cmi/Jacobi-Prior/


翻译:雅可比先验提供了一种替代的贝叶斯框架,旨在实现卓越的计算效率,同时不牺牲预测性能。与广泛使用的方法(如Lasso、Ridge、Elastic Net、uniLasso、基于MCMC的Horseshoe先验)以及非贝叶斯机器学习方法(包括支持向量机(SVM)、随机森林和极限梯度提升(XGBoost))相比,雅可比先验以显著降低的计算成本实现了相当或更优的准确性。该方法非常适合分布式计算环境,因为它天然适应跨多个服务器的分区数据。我们提出了一种可并行的蒙特卡洛算法来量化估计系数的不确定性。我们证明了雅可比估计量在渐近意义上接近,并且在渐近等价于雅可比先验下的后验众数。为了展示其实用性,我们进行了一项全面的模拟研究,包含七个实验,重点关注统计一致性、预测准确性、可扩展性、敏感性分析和鲁棒性研究。我们进一步展示了三个真实数据应用:使用斯隆数字巡天数据对恒星、类星体和星系进行多类别分类,以及使用来自RSNA 2024腰椎退行性变分类挑战赛的矢状面MRI扫描进行脊柱退行性变分类。在脊柱分类任务中,我们从微调后的ResNet-50模型中提取最后一层特征,并评估了多种分类器,包括雅可比-多项对数回归、SVM和随机森林。本文使用的所有代码和数据集均可在以下网址获取:https://github.com/sourish-cmi/Jacobi-Prior/

0
下载
关闭预览

相关内容

【经典书】贝叶斯强化学习概述,147页pdf
专知会员服务
115+阅读 · 2021年11月21日
【经典书】机器学习:贝叶斯和优化方法,1075页pdf
专知会员服务
415+阅读 · 2020年6月8日
【Google】监督对比学习,Supervised Contrastive Learning
专知会员服务
75+阅读 · 2020年4月24日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
机器学习算法集锦:从贝叶斯到深度学习及各自优缺点
人工智能学家
11+阅读 · 2019年2月15日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(简介)
专知会员服务
1+阅读 · 今天15:19
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
3+阅读 · 今天15:13
软件定义多域战术网络:基础与未来方向(综述)
水下战战术决策中的气象与海洋预报(50页报告)
远程空中优势:新一代超视距导弹的兴起
专知会员服务
1+阅读 · 今天14:45
大语言模型溯因推理的统一分类学与综述
专知会员服务
0+阅读 · 今天12:07
相关VIP内容
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员