Long-term forecasting involves predicting a horizon that is far ahead of the last observation. It is a problem of high practical relevance, for instance for companies in order to decide upon expensive long-term investments. Despite the recent progress and success of Gaussian Processes (GPs) based on Spectral Mixture kernels, long-term forecasting remains a challenging problem for these kernels because they decay exponentially at large horizons. This is mainly due to their use of a mixture of Gaussians to model spectral densities. Characteristics of the signal important for long-term forecasting can be unravelled by investigating the distribution of the Fourier coefficients of (the training part of) the signal, which is non-smooth, heavy-tailed, sparse, and skewed. The heavy tail and skewness characteristics of such distributions in the spectral domain allow to capture long-range covariance of the signal in the time domain. Motivated by these observations, we propose to model spectral densities using a Skewed Laplace Spectral Mixture (SLSM) due to the skewness of its peaks, sparsity, non-smoothness, and heavy tail characteristics. By applying the inverse Fourier Transform to this spectral density we obtain a new GP kernel for long-term forecasting. In addition, we adapt the lottery ticket method, originally developed to prune weights of a neural network, to GPs in order to automatically select the number of kernel components. Results of extensive experiments, including a multivariate time series, show the beneficial effect of the proposed SLSM kernel for long-term extrapolation and robustness to the choice of the number of mixture components.


翻译:长期预测涉及预测远比上次观测远远的地平线。 这是一个具有高度实际相关性的问题,例如,对于公司来说,这是一个要决定昂贵的长期投资的高度实用性的问题。尽管基于Spectral Mixture 内核的Gossian进程(GP)最近取得了进步和成功,但长期预测对这些内核来说仍然是一个具有挑战性的问题,因为这些内核在大地平线上急剧衰减。这主要是因为它们使用高斯人混合来模拟光谱内核密度。对于长期预测非常重要的信号的特征,可以通过调查该信号(培训部分)的Fourier多结果系数的分布情况来解析。 光谱域内核分布的强烈尾部和偏差性特征使得它们能够捕捉到时间域内信号的远距离变异性。 受这些观察的启发,我们提议用Skeferal Laple Specrial Slixal 等值来模拟光谱度的广度的光谱缩缩缩缩缩缩图。 将这个系统(SLSLSHMM)的顶值值值值值值值值值值值值值值值值值值值的峰值调整到我们的峰值, 以显示的轨道的系统内极值的系统显示, 至四级变值的频率的系统显示的峰值的峰值的精度的频率的细变值的频率显示。

0
下载
关闭预览

相关内容

注意力机制综述
专知会员服务
211+阅读 · 2021年1月26日
【2020新书】概率机器学习,附212页pdf与slides
专知会员服务
113+阅读 · 2020年11月12日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
已删除
将门创投
8+阅读 · 2019年3月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Time Series Forecasting Using Manifold Learning
Arxiv
0+阅读 · 2021年10月8日
Arxiv
19+阅读 · 2018年6月27日
VIP会员
最新内容
《人工智能赋能的适应性多功能电磁战》
专知会员服务
9+阅读 · 9月29日
俄乌战场实验室:全面战争如何重塑现代作战
专知会员服务
6+阅读 · 9月29日
2026年美空军协会会议上的无人机系统趋势
专知会员服务
9+阅读 · 9月28日
反制无人机:乌克兰提供的五点启示
专知会员服务
14+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
10+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
9+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
14+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
17+阅读 · 9月22日
相关资讯
LibRec 精选:AutoML for Contextual Bandits
LibRec智能推荐
7+阅读 · 2019年9月19日
revelation of MONet
CreateAMind
5+阅读 · 2019年6月8日
已删除
将门创投
8+阅读 · 2019年3月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员