Spatio-temporal forecasting is fundamental to intelligent systems in transportation, climate science, and urban planning. However, training deep learning models on the massive, often redundant, datasets from these domains presents a significant computational bottleneck. Existing solutions typically focus on optimizing model architectures or optimizers, while overlooking the inherent inefficiency of the training data itself. This conventional approach of iterating over the entire static dataset each epoch wastes considerable resources on easy-to-learn or repetitive samples. In this paper, we explore a novel training-efficiency techniques, namely learning from complexity with dynamic sample pruning, ST-Prune, for spatio-temporal forecasting. Through dynamic sample pruning, we aim to intelligently identify the most informative samples based on the model's real-time learning state, thereby accelerating convergence and improving training efficiency. Extensive experiments conducted on real-world spatio-temporal datasets show that ST-Prune significantly accelerates the training speed while maintaining or even improving the model performance, and it also has scalability and universality.


翻译:时空预测是交通、气候科学和城市规划等领域智能系统的基础。然而,在这些领域海量且通常冗余的数据集上训练深度学习模型,构成了显著的计算瓶颈。现有解决方案通常侧重于优化模型架构或优化器,却忽视了训练数据本身固有的低效性。这种在每个训练周期迭代整个静态数据集的传统方法,在易于学习或重复的样本上浪费了大量资源。本文探索了一种新颖的训练效率技术,即基于复杂性的动态样本剪枝学习——ST-Prune,用于时空预测。通过动态样本剪枝,我们旨在根据模型的实时学习状态智能识别信息量最大的样本,从而加速收敛并提高训练效率。在真实世界时空数据集上进行的大量实验表明,ST-Prune在保持甚至提升模型性能的同时,显著加快了训练速度,并且具备良好的可扩展性和普适性。

0
下载
关闭预览

相关内容

【HKUST博士论文】迈向可扩展且具泛化能力的时空预测
专知会员服务
18+阅读 · 2025年6月27日
时空基础模型全面综述
专知会员服务
27+阅读 · 2025年6月3日
时空数据科学的基础模型:教程与综述
专知会员服务
33+阅读 · 2025年3月23日
【CVPR2022-上海交大】可持续时空预测学习框架
专知会员服务
32+阅读 · 2022年5月14日
【WWW2021】面向时空图预测的神经结构搜索
专知会员服务
23+阅读 · 2021年4月23日
【深度学习】深度学习的核心:掌握训练数据的方法
产业智能官
12+阅读 · 2018年1月14日
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月5日
VIP会员
最新内容
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
19+阅读 · 4月29日
智能体化世界建模:基础、能力、规律及展望
专知会员服务
11+阅读 · 4月28日
相关基金
国家自然科学基金
43+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员