This paper revisits classical works of Rauch (1963, et al. 1965) and develops a novel method for maximum likelihood (ML) smoothing estimation from incomplete information/data of stochastic state-space systems. Score function and conditional observed information matrices of incomplete data are introduced and their distributional identities are established. Using these identities, the ML smoother $\widehat{x}_{k\vert n}^s =\argmax_{x_k} \log f(x_k,\widehat{x}_{k+1\vert n}^s, y_{0:n}\vert\theta)$, $k\leq n-1$, is presented. The result shows that the ML smoother gives an estimate of state $x_k$ with more adherence of loglikehood having less standard errors than that of the ML state estimator $\widehat{x}_k=\argmax_{x_k} \log f(x_k,y_{0:k}\vert\theta)$, with $\widehat{x}_{n\vert n}^s=\widehat{x}_n$. Recursive estimation is given in terms of an EM-gradient-particle algorithm which extends the work of \cite{Lange} for ML smoothing estimation. The algorithm has an explicit iteration update which lacks in (\cite{Ramadan}) EM-algorithm for smoothing. A sequential Monte Carlo method is developed for valuation of the score function and observed information matrices. A recursive equation for the covariance matrix of estimation error is developed to calculate the standard errors. In the case of linear systems, the method shows that the Rauch-Tung-Striebel (RTS) smoother is a fully efficient smoothing state-estimator whose covariance matrix coincides with the Cram\'er-Rao lower bound, the inverse of expected information matrix. Furthermore, the RTS smoother coincides with the Kalman filter having less covariance matrix. Numerical studies are performed, confirming the accuracy of the main results.


翻译:本文重新审视了Rauch(1963年及1965年等人的经典工作),并提出了一种新方法,用于从随机状态空间系统的不完全信息/数据中进行最大似然平滑估计。本文引入了不完全数据的得分函数和条件观测信息矩阵,并建立了其分布恒等式。基于这些恒等式,提出了最大似然平滑器 $\widehat{x}_{k\vert n}^s =\argmax_{x_k} \log f(x_k,\widehat{x}_{k+1\vert n}^s, y_{0:n}\vert\theta)$,其中 $k\leq n-1$。结果表明,与最大似然状态估计器 $\widehat{x}_k=\argmax_{x_k} \log f(x_k,y_{0:k}\vert\theta)$(其中 $\widehat{x}_{n\vert n}^s=\widehat{x}_n$)相比,最大似然平滑器对状态 $x_k$ 的估计具有更高的对数似然贴合度,且标准误差更小。文中给出了递归估计的形式,即一种EM梯度粒子算法,该算法扩展了Lange等人关于最大似然平滑估计的工作。该算法具有显式的迭代更新步骤,而Ramadan等人提出的用于平滑的EM算法则缺乏此特性。本文发展了用于评估得分函数和观测信息矩阵的序贯蒙特卡洛方法,并推导了估计误差协方差矩阵的递归方程以计算标准误差。在线性系统情况下,该方法表明Rauch-Tung-Striebel平滑器是一种完全有效的平滑状态估计器,其协方差矩阵等于Cramér-Rao下界(即期望信息矩阵的逆矩阵)。此外,RTS平滑器与卡尔曼滤波器一致,且具有更小的协方差矩阵。数值研究验证了主要结果的准确性。

0
下载
关闭预览

相关内容

ACL2022 | 基于强化学习的实体对齐
专知会员服务
36+阅读 · 2022年3月15日
【ICLR2022】Transformers亦能贝叶斯推断
专知会员服务
25+阅读 · 2021年12月23日
专知会员服务
26+阅读 · 2021年9月9日
专知会员服务
19+阅读 · 2021年8月15日
专知会员服务
44+阅读 · 2021年7月1日
专知会员服务
52+阅读 · 2020年12月14日
【2020新书】概率机器学习,附212页pdf与slides
专知会员服务
113+阅读 · 2020年11月12日
神经网络高斯过程 (Neural Network Gaussian Process)
PaperWeekly
0+阅读 · 2022年11月8日
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
52+阅读 · 2019年10月13日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
0+阅读 · 2023年5月19日
Arxiv
0+阅读 · 2023年5月17日
Arxiv
0+阅读 · 2023年5月16日
Arxiv
0+阅读 · 2023年5月16日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
2+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
4+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
8+阅读 · 7月19日
相关VIP内容
ACL2022 | 基于强化学习的实体对齐
专知会员服务
36+阅读 · 2022年3月15日
【ICLR2022】Transformers亦能贝叶斯推断
专知会员服务
25+阅读 · 2021年12月23日
专知会员服务
26+阅读 · 2021年9月9日
专知会员服务
19+阅读 · 2021年8月15日
专知会员服务
44+阅读 · 2021年7月1日
专知会员服务
52+阅读 · 2020年12月14日
【2020新书】概率机器学习,附212页pdf与slides
专知会员服务
113+阅读 · 2020年11月12日
相关资讯
神经网络高斯过程 (Neural Network Gaussian Process)
PaperWeekly
0+阅读 · 2022年11月8日
强化学习扫盲贴:从Q-learning到DQN
夕小瑶的卖萌屋
52+阅读 · 2019年10月13日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
互信息论文笔记
CreateAMind
23+阅读 · 2018年8月23日
笔记 | Deep active learning for named entity recognition
黑龙江大学自然语言处理实验室
24+阅读 · 2018年5月27日
【推荐】RNN/LSTM时序预测
机器学习研究会
25+阅读 · 2017年9月8日
强化学习族谱
CreateAMind
26+阅读 · 2017年8月2日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员