High-dimensional vector autoregressive (VAR) models offer a versatile framework for multivariate time series analysis, yet face critical challenges from over-parameterization and uncertain lag order. In this paper, we systematically compare three Bayesian shrinkage priors (horseshoe, lasso, and normal) and two frequentist regularization approaches (ridge and nonparametric shrinkage) under three carefully crafted simulation scenarios. These scenarios encompass (i) overfitting in a low-dimensional setting, (ii) sparse high-dimensional processes, and (iii) a combined scenario where both large dimension and overfitting complicate inference. We evaluate each method in quality of parameter estimation (root mean squared error, coverage, and interval length) and out-of-sample forecasting (one-step-ahead forecast RMSE). Our findings show that local-global Bayesian methods, particularly the horseshoe, dominate in maintaining accurate coverage and minimizing parameter error, even when the model is heavily over-parameterized. Frequentist ridge often yields competitive point forecasts but underestimates uncertainty, leading to sub-nominal coverage. A real-data application using macroeconomic variables from Canada illustrates how these methods perform in practice, reinforcing the advantages of local-global priors in stabilizing inference when dimension or lag order is inflated.


翻译:高维向量自回归(VAR)模型为多元时间序列分析提供了一个通用框架,但仍面临过度参数化和滞后阶数不确定的关键挑战。本文在三种精心设计的模拟情景下,系统比较了三种贝叶斯收缩先验(horseshoe、lasso和正态先验)与两种频率学派正则化方法(岭回归与非参数收缩)。这些情景包括:(i)低维设定中的过拟合问题,(ii)稀疏高维过程,以及(iii)大维度与过拟合同时使推断复杂化的混合情景。我们从参数估计质量(均方根误差、覆盖率和区间长度)与样本外预测(一步向前预测RMSE)两个维度评估每种方法。研究结果表明,局部-全局贝叶斯方法(尤其是horseshoe先验)在保持准确覆盖率与最小化参数误差方面表现卓越,即使在模型严重过度参数化的情况下依然如此。频率学派的岭回归方法常能产生具有竞争力的点预测,但会低估不确定性,导致低于名义水平的覆盖率。通过使用加拿大宏观经济变量的实际数据应用,我们展示了这些方法在实践中的表现,进一步印证了当维度或滞后阶数膨胀时,局部-全局先验在稳定推断方面的优势。

0
下载
关闭预览

相关内容

【干货书】贝叶斯统计分析方法,697页pdf
专知会员服务
124+阅读 · 2021年12月18日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
数据分析师应该知道的16种回归方法:泊松回归
数萃大数据
35+阅读 · 2018年9月13日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
VIP会员
相关VIP内容
【干货书】贝叶斯统计分析方法,697页pdf
专知会员服务
124+阅读 · 2021年12月18日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员