Driven by the transition towards a climate-neutral energy system, accurate energy time series forecasting is critical for planning and operation. Yet, it remains largely a dataset-specific task, requiring comprehensive training data, limiting scalability, and resulting in high model development and maintenance effort. Recently, foundation models that aim to learn generalizable patterns via extensive pretraining have shown superior performance in multiple prediction tasks. Despite their success and strong potential to address challenges in energy forecasting, their application in this domain remains largely unexplored. We address this gap by presenting the Foundation Models in Energy Time Series Forecasting (FETS) benchmark. We (1) provide a structured overview of energy forecasting use cases along three main dimensions: stakeholders, attributes, and data categories; (2) collect and analyze 54 datasets across 9 data categories, guided by typical stakeholder interests; (3) benchmark foundation models against classical machine learning approaches across different forecasting settings. Foundation models consistently outperform dataset-specific optimized machine learning approaches across all settings and data categories, despite the latter having seen the full historic target data during training. In particular, covariate-informed foundation models achieve the strongest performance. Further analysis reveals a strong correlation between predictive performance and spectral entropy, performance saturation beyond a certain context length, and improved performance at higher aggregation levels such as national load, district heating, and power grid data. Overall, our findings highlight the strong potential of foundation models as scalable and generalizable forecasting solutions for the energy domain, particularly in data-constrained and privacy-sensitive settings.


翻译:在向气候中和能源系统转型的驱动下,准确的能源时间序列预测对规划与运行至关重要。然而,该任务目前仍主要依赖数据集特定方法,需要全面的训练数据,限制了可扩展性,并导致模型开发与维护成本高昂。近期,旨在通过大规模预训练学习通用模式的基础模型已在多项预测任务中展现出优越性能。尽管此类模型在能源预测领域具有巨大潜力且已取得显著成功,但其在该领域的应用仍鲜有探索。为填补这一空白,我们提出了能源时间序列预测基础模型(FETS)基准测试。我们:(1)沿利益相关者、属性与数据类别三个主要维度,系统梳理了能源预测用例的结构化概览;(2)基于典型利益相关者需求,收集并分析了涵盖9个数据类别的54个数据集;(3)在不同预测设置下,将基础模型与经典机器学习方法进行对比基准测试。结果表明,尽管数据集特定优化方法在训练过程中已观测到完整历史目标数据,但基础模型在所有设置与数据类别中均持续优于这些方法。其中,协变量感知的基础模型取得了最强性能。进一步分析揭示了预测性能与频谱熵之间的强相关性、超出特定上下文长度后的性能饱和现象,以及在更高聚合层级(如国家负荷、区域供热、电网数据)上的性能提升。总体而言,我们的研究凸显了基础模型作为能源领域可扩展且可泛化的预测解决方案的巨大潜力,尤其适用于数据受限和隐私敏感场景。

0
下载
关闭预览

相关内容

决策智能中的时间序列预测大模型
专知会员服务
33+阅读 · 2025年5月8日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
29+阅读 · 2025年3月14日
深度学习与基础模型在天气预测中的应用:综述
专知会员服务
25+阅读 · 2025年1月15日
时间序列和时空数据扩散模型综述
专知会员服务
64+阅读 · 2024年5月1日
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
使用LSTM模型预测股价基于Keras
量化投资与机器学习
35+阅读 · 2018年11月17日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
2+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
3+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
3+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关资讯
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
使用LSTM模型预测股价基于Keras
量化投资与机器学习
35+阅读 · 2018年11月17日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员