Large-scale traffic forecasting relies on fixed sensor networks that often exhibit blackouts: contiguous intervals of missing measurements caused by detector or communication failures. These outages are typically handled under a Missing At Random (MAR) assumption, even though blackout events may correlate with unobserved traffic conditions (e.g., congestion or anomalous flow), motivating a Missing Not At Random (MNAR) treatment. We propose a latent state-space framework that jointly models (i) traffic dynamics via a linear dynamical system and (ii) sensor dropout via a Bernoulli observation channel whose probability depends on the latent traffic state. Inference uses an Extended Kalman Filter with Rauch-Tung-Striebel smoothing, and parameters are learned via an approximate EM procedure with a dedicated update for detector-specific missingness parameters. On the Seattle inductive loop detector data, introducing latent dynamics yields large gains over naive baselines, reducing blackout imputation RMSE from 7.02 (LOCF) and 5.02 (linear interpolation + seasonal naive) to 4.23 (MAR LDS), corresponding to about a 64% reduction in MSE relative to LOCF. Explicit MNAR modeling provides a consistent but smaller additional improvement on real data (imputation RMSE 4.20; 0.8% RMSE reduction relative to MAR), with similar modest gains for short-horizon post-blackout forecasts (evaluated at 1, 3, and 6 steps). In controlled synthetic experiments, the MNAR advantage increases as the true missingness dependence on latent state strengthens. Overall, temporal dynamics dominate performance, while MNAR modeling offers a principled refinement that becomes most valuable when missingness is genuinely informative.


翻译:大规模交通预测依赖于固定的传感器网络,这些网络经常出现中断:由检测器或通信故障引起的连续测量缺失区间。尽管中断事件可能与未观测到的交通状况(例如拥堵或异常流量)相关,从而支持采用缺失非随机(MNAR)处理方法,但这些中断通常是在缺失随机(MAR)假设下处理的。我们提出了一个潜在状态空间框架,该框架联合建模(i)通过线性动态系统的交通动态,以及(ii)通过伯努利观测通道的传感器丢失,其概率取决于潜在交通状态。推断使用带有Rauch-Tung-Striebel平滑的扩展卡尔曼滤波器,参数通过近似EM过程学习,并配有检测器特定缺失参数的专用更新。在西雅图感应线圈检测器数据上,引入潜在动态相较于朴素基线带来了巨大增益,将中断插补RMSE从7.02(LOCF)和5.02(线性插值+季节性朴素)降低到4.23(MAR LDS),相当于相对于LOCF的MSE减少了约64%。显式的MNAR建模在真实数据上提供了一致但较小的额外改进(插补RMSE 4.20;相对于MAR的RMSE减少0.8%),对于短时域中断后预测(在1、3和6步评估)也有类似的适度增益。在受控的合成实验中,随着真实缺失对潜在状态的依赖性增强,MNAR的优势增加。总体而言,时间动态主导性能,而MNAR建模提供了一种原则性的改进,当缺失确实具有信息性时变得最有价值。

0
下载
关闭预览

相关内容

深度学习在时间序列异常检测中的应用综述
专知会员服务
110+阅读 · 2022年11月11日
索邦大学121页博士论文《时间序列中的无监督异常检测》
专知会员服务
103+阅读 · 2022年7月25日
【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
90+阅读 · 2022年4月15日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
【PHM算法】PHM算法 | 故障诊断建模方法
产业智能官
68+阅读 · 2020年3月16日
缺失数据统计分析,第三版,462页pdf
专知
48+阅读 · 2020年2月28日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
时序异常检测算法概览
论智
29+阅读 · 2018年8月30日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
深度学习在时间序列异常检测中的应用综述
专知会员服务
110+阅读 · 2022年11月11日
索邦大学121页博士论文《时间序列中的无监督异常检测》
专知会员服务
103+阅读 · 2022年7月25日
【ICLR2022】图神经网络复杂时间序列建模
专知会员服务
90+阅读 · 2022年4月15日
相关资讯
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
【PHM算法】PHM算法 | 故障诊断建模方法
产业智能官
68+阅读 · 2020年3月16日
缺失数据统计分析,第三版,462页pdf
专知
48+阅读 · 2020年2月28日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
时序异常检测算法概览
论智
29+阅读 · 2018年8月30日
边缘计算应用:传感数据异常实时检测算法
计算机研究与发展
11+阅读 · 2018年4月10日
相关基金
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员