Autoregressive (AR) models remain widely used in time series analysis due to their interpretability, but convencional parameter estimation methods can be computationally expensive and prone to convergence issues. This paper proposes a Neural Network (NN) formulation of AR estimation by embedding the autoregressive structure directly into a feedforward NN, enabling coefficient estimation through backpropagation while preserving interpretability. Simulation experiments on 125,000 synthetic AR(p) time series with short-term dependence (1 <= p <= 5) show that the proposed NN-based method consistently recovers model coefficients for all series, while Conditional Maximum Likelihood (CML) fails to converge in approximately 55% of cases. When both methods converge, estimation accuracy is comparable with negligible differences in relative error, R2 and, perplexity/likelihood. However, when CML fails, the NN-based approach still provides reliable estimates. In all cases, the NN estimator achieves substantial computational gains, reaching a median speedup of 12.6x and up to 34.2x for higher model orders. Overall, results demonstrate that gradient-descent NN optimization can provide a fast and efficient alternative for interpretable AR parameter estimation.


翻译:自回归(AR)模型因其可解释性在时间序列分析中仍被广泛使用,但传统参数估计方法计算成本高且易出现收敛问题。本文通过将自回归结构直接嵌入前馈神经网络,提出一种神经网络(NN)形式的AR估计方法,使其既能通过反向传播实现系数估计,又保持可解释性。在125,000个具有短期依赖性的合成AR(p)时间序列(1 ≤ p ≤ 5)上的仿真实验表明,所提出的基于神经网络的方法能持续恢复所有序列的模型系数,而条件最大似然(CML)方法在大约55%的情况下未能收敛。当两种方法均收敛时,估计精度相当,相对误差、R²和困惑度/似然性差异可忽略不计。然而,当CML方法失效时,基于神经网络的方法仍能提供可靠估计。在所有情况下,神经网络估计器均实现显著计算加速,中位数加速比达12.6倍,对于高阶模型更可达34.2倍。总体结果表明,梯度下降神经网络优化可为可解释AR参数估计提供快速高效的替代方案。

0
下载
关闭预览

相关内容

自解释神经网络的全面综述
专知会员服务
19+阅读 · 2025年1月28日
视觉自回归模型综述
专知会员服务
45+阅读 · 2024年11月15日
卷积神经网络的可解释性研究综述
专知会员服务
90+阅读 · 2023年6月5日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
数据分析师应该知道的16种回归方法:泊松回归
数萃大数据
35+阅读 · 2018年9月13日
论文浅尝 | 利用 RNN 和 CNN 构建基于 FreeBase 的问答系统
开放知识图谱
11+阅读 · 2018年4月25日
神经网络可解释性最新进展
专知
18+阅读 · 2018年3月10日
最全的DNN概述论文:详解前馈、卷积和循环神经网络技术
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 4月18日
Arxiv
0+阅读 · 3月30日
VIP会员
相关主题
最新内容
现代战争的隐蔽系统:伊朗战争十大启示
专知会员服务
1+阅读 · 今天3:58
ICML 2026 | 自回归Boltzmann生成器重塑分子采样
专知会员服务
3+阅读 · 6月26日
GNN跨域综述:从消息传递到图基础模型
专知会员服务
5+阅读 · 6月26日
无人机自主控制与人工智能:系统性综述
专知会员服务
13+阅读 · 6月26日
巡飞弹与反无人机系统——现代战场的两大支柱
《打造“黄金舰队”》57页报告
专知会员服务
4+阅读 · 6月26日
《北约数字教官网络发展路径》128页报告
专知会员服务
3+阅读 · 6月26日
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
9+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员