This paper introduces the `Jacobi prior,' an alternative Bayesian method, that aims to address the computational challenges inherent in traditional techniques. It demonstrates that the Jacobi prior performs better than well-known methods like Lasso, Ridge, Elastic Net, and MCMC-based Horse-Shoe Prior, especially in predicting accurately. Additionally, We also show that the Jacobi prior is more than a hundred times faster than these methods while maintaining similar predictive accuracy. The method is implemented for Generalised Linear Models, Gaussian process regression, and classification, making it suitable for longitudinal/panel data analysis. The Jacobi prior shows it can handle partitioned data across servers worldwide, making it useful for distributed computing environments. As the method runs faster while still predicting accurately, it's good for organizations wanting to reduce their environmental impact and meet ESG standards. To show how well the Jacobi prior works, we did a detailed simulation study with four experiments, looking at statistical consistency, accuracy, and speed. Additionally, we present two empirical studies. First, we thoroughly evaluate Credit Risk by studying default probability using data from the U.S. Small Business Administration (SBA). Also, we use the Jacobi prior to classifying stars, quasars, and galaxies in a 3-class problem using multinational logit regression on Sloan Digital Sky Survey data. We use different filters as features. All codes and datasets for this paper are available in the following GitHub repository: https://github.com/sourish-cmi/Jacobi-Prior/


翻译:本文提出了一种名为“雅可比先验”的替代贝叶斯方法,旨在解决传统技术中固有的计算挑战。研究表明,雅可比先验在预测精度上优于Lasso、Ridge、Elastic Net以及基于MCMC的Horse-Shoe先验等知名方法。此外,我们还证明,雅可比先验在保持相似预测精度的同时,其运行速度比这些方法快百倍以上。该方法适用于广义线性模型、高斯过程回归及分类任务,因此适合纵向/面板数据分析。雅可比先验能够处理分布在全球服务器上的分区数据,从而在分布式计算环境中具有实用性。由于该方法在快速运行的同时仍能保持高精度预测,因此适用于希望降低环境影响并满足ESG标准的组织。为展示雅可比先验的性能,我们通过四个实验进行了详细的模拟研究,探讨了统计一致性、精度和速度。此外,我们还给出了两项实证研究。首先,我们利用美国小企业管理局(SBA)的数据,通过研究违约概率对信用风险进行了全面评估。其次,我们使用多项逻辑回归对斯隆数字巡天数据进行三星分类(恒星、类星体和星系),并采用不同滤波器作为特征。本文的所有代码和数据集均可在以下GitHub仓库中获取:https://github.com/sourish-cmi/Jacobi-Prior/

0
下载
关闭预览

相关内容

机器学习系统设计系统评估标准
Linux导论,Introduction to Linux,96页ppt
专知会员服务
82+阅读 · 2020年7月26日
FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
《DeepGCNs: Making GCNs Go as Deep as CNNs》
专知会员服务
32+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
17+阅读 · 2023年12月4日
Instruction Tuning for Large Language Models: A Survey
Arxiv
15+阅读 · 2023年8月21日
VIP会员
最新内容
【NTU博士论文】3D人体动作生成
专知会员服务
1+阅读 · 今天14:48
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
7+阅读 · 今天8:46
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
9+阅读 · 今天5:37
《多域作战面临复杂现实》
专知会员服务
7+阅读 · 今天5:35
《印度的多域作战:条令与能力发展》报告
专知会员服务
3+阅读 · 今天5:24
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
From Softmax to Sparsemax-ICML16(1)
KingsGarden
74+阅读 · 2016年11月26日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员