This paper revisits classical works of Rauch (1963, et al. 1965) and develops a novel method for maximum likelihood (ML) smoothing estimation from incomplete information/data of stochastic state-space systems. Score function and conditional observed information matrices of incomplete data are introduced and their distributional identities are established. Using these identities, the ML smoother $\widehat{x}_{k\vert n}^s =\argmax_{x_k} \log f(x_k,\widehat{x}_{k+1\vert n}^s, y_{0:n}\vert\theta)$, $k\leq n-1$, is presented. The result shows that the ML smoother gives an estimate of state $x_k$ with more adherence of loglikehood having less standard errors than that of the ML state estimator $\widehat{x}_k=\argmax_{x_k} \log f(x_k,y_{0:k}\vert\theta)$, with $\widehat{x}_{n\vert n}^s=\widehat{x}_n$. Recursive estimation is given in terms of an EM-gradient-particle algorithm which extends the work of \cite{Lange} for ML smoothing estimation. The algorithm has an explicit iteration update which lacks in (\cite{Ramadan}) EM-algorithm for smoothing. A sequential Monte Carlo method is developed for valuation of the score function and observed information matrices. A recursive equation for the covariance matrix of estimation error is developed to calculate the standard errors. In the case of linear systems, the method shows that the Rauch-Tung-Striebel (RTS) smoother is a fully efficient smoothing state-estimator whose covariance matrix coincides with the Cram\'er-Rao lower bound, the inverse of expected information matrix. Furthermore, the RTS smoother coincides with the Kalman filter having less covariance matrix. Numerical studies are performed, confirming the accuracy of the main results.


翻译:本文重新审视了Rauch(1963)和Rauch等人(1965)的经典研究,针对随机状态空间系统的不完全信息或数据开发了一种新颖的最大似然(ML)平滑估计方法。我们介绍了不完全数据的分数函数和条件观察信息矩阵,并建立了它们的分布恒等性。基于这些恒等式,本文提出了ML平滑估计器$\widehat{x}_{k\vert n}^s =\argmax_{x_k} \log f(x_k,\widehat{x}_{k+1\vert n}^s, y_{0:n}\vert\theta)$,$k\leq n-1$,它给出了一个具有更高对数似然粘合性的状态$x_k$估计值,比MLE状态估计器$\widehat{x}_k=\argmax_{x_k} \log f(x_k,y_{0:k}\vert\theta)$,具有更小的标准误差,此处$\widehat{x}_{n\vert n}^s=\widehat{x}_n$。将EM-梯度-粒子算法的工作扩展到ML平滑估计,给出了递归参数估计。该算法具有显式的迭代更新,而该平滑估计的EM算法缺乏此更新。针对分数函数和观察信息矩阵的估值,我们开发了一种连续蒙特卡罗方法。我们提出了一个递归方程来计算估计误差的协方差矩阵,以计算标准误差。在线性系统的情况下,本文表明Rauch-Tung-Striebel(RTS)平滑估计器是一种完整有效的平滑状态估计器,其协方差矩阵与Cram\'er-Rao下界相同,即预期信息矩阵的逆。此外,RTS平滑估计器与具有更小协方差矩阵的卡尔曼滤波器相符。进行了数值研究,证实了主要结果的准确性。

0
下载
关闭预览

相关内容

ACL2022 | 基于强化学习的实体对齐
专知会员服务
35+阅读 · 2022年3月15日
专知会员服务
26+阅读 · 2021年9月9日
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月17日
Arxiv
0+阅读 · 2023年5月16日
VIP会员
相关资讯
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员