Autoregressive (AR) models remain widely used in time series analysis due to their interpretability, but convencional parameter estimation methods can be computationally expensive and prone to convergence issues. This paper proposes a Neural Network (NN) formulation of AR estimation by embedding the autoregressive structure directly into a feedforward NN, enabling coefficient estimation through backpropagation while preserving interpretability. Simulation experiments on 125,000 synthetic AR(p) time series with short-term dependence (1 <= p <= 5) show that the proposed NN-based method consistently recovers model coefficients for all series, while Conditional Maximum Likelihood (CML) fails to converge in approximately 55% of cases. When both methods converge, estimation accuracy is comparable with negligible differences in relative error, R2 and, perplexity/likelihood. However, when CML fails, the NN-based approach still provides reliable estimates. In all cases, the NN estimator achieves substantial computational gains, reaching a median speedup of 12.6x and up to 34.2x for higher model orders. Overall, results demonstrate that gradient-descent NN optimization can provide a fast and efficient alternative for interpretable AR parameter estimation.


翻译:自回归(AR)模型因其可解释性在时间序列分析中仍被广泛使用,但传统参数估计方法计算成本高且易出现收敛问题。本文通过将自回归结构直接嵌入前馈神经网络,提出一种神经网络(NN)形式的AR估计方法,使其既能通过反向传播实现系数估计,又保持可解释性。在125,000个具有短期依赖性的合成AR(p)时间序列(1 ≤ p ≤ 5)上的仿真实验表明,所提出的基于神经网络的方法能持续恢复所有序列的模型系数,而条件最大似然(CML)方法在大约55%的情况下未能收敛。当两种方法均收敛时,估计精度相当,相对误差、R²和困惑度/似然性差异可忽略不计。然而,当CML方法失效时,基于神经网络的方法仍能提供可靠估计。在所有情况下,神经网络估计器均实现显著计算加速,中位数加速比达12.6倍,对于高阶模型更可达34.2倍。总体结果表明,梯度下降神经网络优化可为可解释AR参数估计提供快速高效的替代方案。

0
下载
关闭预览

相关内容

自解释神经网络的全面综述
专知会员服务
20+阅读 · 2025年1月28日
视觉自回归模型综述
专知会员服务
45+阅读 · 2024年11月15日
卷积神经网络的可解释性研究综述
专知会员服务
91+阅读 · 2023年6月5日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
数据分析师应该知道的16种回归方法:泊松回归
数萃大数据
35+阅读 · 2018年9月13日
论文浅尝 | 利用 RNN 和 CNN 构建基于 FreeBase 的问答系统
开放知识图谱
11+阅读 · 2018年4月25日
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
最全的DNN概述论文:详解前馈、卷积和循环神经网络技术
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月18日
Arxiv
0+阅读 · 3月30日
VIP会员
相关主题
最新内容
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
9+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
14+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
边缘计算的军事应用
专知会员服务
12+阅读 · 8月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员