Spatio-Temporal forecasting is crucial in diverse fields, such as transportation, climate, and energy. Urban spatio-temporal data exhibits temporal mirage: similar short-window inputs have divergent future trends, and vice versa. Existing spatio-temporal graph neural networks (STGNNs) cannot effectively identify such mirages. We argue that the core reason lies in the short-window inputs that have incomplete period observation, heterogeneous global spatial correlation, and cross-period superposition causality. To bridge this gap, we develop a novel Multi- Period Pattern Pre-training (MP3), a plug-and-play pre-training plugin for distinguishing temporal mirages. MP3 presents two core innovations: (1) The multi-period pattern learning is designed to learn multi-period patterns from long time series. Specifically, multi-period temporal modeling leverages edge convolution to identify different multi-period patterns. Multi-period spatial modeling uses a bottleneck project and a global memory bank to capture heterogeneous global spatial relations efficiently. Cross-period pattern interaction employs a causality-enhanced Transformer to capture dependencies across different period patterns. (2) This plugin can seamlessly integrate into existing STGNN backbones to strengthen their forecasting performance. The experiment on five STGNN baselines across five real-world datasets (including a large-scale dataset CA) verify the effectiveness, superior scalability and strong adaptability of MP3, which brings consistent and robust performance improvements across all evaluated baselines. On average, MP3 reduces the MAE 4.7% and the RMSE 5.0%. The code can be available at https://github.com/YAN-outlook/MP3.


翻译:时空预测在交通、气候和能源等众多领域至关重要。城市时空数据呈现出时间幻象现象:相似的短时窗输入可能对应截然不同的未来趋势,反之亦然。现有时空图神经网络无法有效识别此类幻象。我们认为其核心原因在于短时窗输入存在周期观测不完整、异质性全局空间关联以及跨周期叠加因果效应。为弥补这一不足,我们提出了一种新颖的多周期模式预训练方法——MP3,这是一种用于区分时间幻象的即插即用式预训练插件。MP3包含两项核心创新:(1)多周期模式学习模块,旨在从长时序中学习多周期模式。具体而言,多周期时间建模利用边卷积识别不同多周期模式;多周期空间建模采用瓶颈投影与全局记忆库高效捕获异质性全局空间关联;跨周期模式交互则通过因果增强型Transformer捕捉不同周期模式间的依赖关系。(2)该插件可无缝集成至现有STGNN主干网络以增强其预测性能。在五个真实世界数据集(含大规模数据集CA)上对五种STGNN基线模型的实验验证了MP3的有效性、卓越可扩展性与强适应性,其为所有评估基线带来了持续稳健的性能提升。平均而言,MP3使MAE降低4.7%,RMSE降低5.0%。代码可访问https://github.com/YAN-outlook/MP3获取。

0
下载
关闭预览

相关内容

时空基础模型全面综述
专知会员服务
27+阅读 · 2025年6月3日
【KDD2024】城市GPT:时空大模型
专知会员服务
33+阅读 · 2024年6月1日
时间序列和时空数据扩散模型综述
专知会员服务
64+阅读 · 2024年5月1日
深度预测学习:模型与应用
专知会员服务
49+阅读 · 2022年12月5日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
【WWW2021】面向时空图预测的神经结构搜索
专知会员服务
23+阅读 · 2021年4月23日
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
你真的懂时间序列预测吗?
腾讯大讲堂
104+阅读 · 2019年1月7日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
9+阅读 · 6月15日
相关VIP内容
时空基础模型全面综述
专知会员服务
27+阅读 · 2025年6月3日
【KDD2024】城市GPT:时空大模型
专知会员服务
33+阅读 · 2024年6月1日
时间序列和时空数据扩散模型综述
专知会员服务
64+阅读 · 2024年5月1日
深度预测学习:模型与应用
专知会员服务
49+阅读 · 2022年12月5日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
【WWW2021】面向时空图预测的神经结构搜索
专知会员服务
23+阅读 · 2021年4月23日
相关资讯
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
你真的懂时间序列预测吗?
腾讯大讲堂
104+阅读 · 2019年1月7日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员