Forecasting accuracy is bounded by the information available about the future. This paper makes that statement precise using information-theoretic tools. Under logarithmic loss, the expected performance of any probabilistic forecast decomposes into two parts: an irreducible component and an approximation component. The irreducible term is the conditional entropy of the future given the available information, while the approximation term is the divergence between the true conditional distribution and the forecasting method. The gap between this conditional-entropy limit and an unconditional baseline is exactly the mutual information between the future observation and the declared information set. This leads to a definition of forecastability as the maximum achievable reduction in expected log loss. Evaluated across horizons, forecastability forms a profile that describes how predictive information varies with lead time. This profile reflects the dependence structure of the process and need not be monotone: predictive information may be concentrated at particular lags, including seasonal horizons, even when intermediate horizons contain little useful signal. From this profile, the paper defines the informative horizon set: the horizons at which forecastability exceeds a practical threshold. At horizons not in this set, the achievable gain over the unconditional baseline is necessarily small, regardless of the forecasting method used. The framework therefore separates what is learnable from what is not, and distinguishes limits imposed by the data from errors introduced by modelling. The result is a pre-modelling diagnostic that identifies where meaningful prediction is feasible before any model is chosen, providing a principled basis for allocating modelling effort across forecast horizons.


翻译:预测精度受限于可获取的未来信息。本文利用信息论工具对该论断进行了精确刻画。在对数损失函数下,任何概率预测的期望性能均可分解为不可约分量与近似分量两部分。不可约项为给定可用信息条件下未来的条件熵,而近似项则是真实条件分布与预测方法之间的散度。该条件熵极限与无条件基线之间的差距恰好等于未来观测值与所声明信息集之间的互信息。由此将可预测性定义为预期对数损失最大可降低幅度。通过跨时间维度的评估,可预测性形成描述预测信息如何随提前期变化的剖面。该剖面反映了过程的依赖结构且无需单调:预测信息可能集中于特定滞后阶数(包括季节性周期),即便中间时段几乎不含有效信号。据此定义信息性时间段集:可预测性超过实际阈值的时间窗口。对于不在此集合中的时段,无论采用何种预测方法,与无条件基线相比的增益必然有限。因此该框架有效区分了可学习内容与不可学习内容,并明确了数据固有约束与建模引入误差之间的界限。其结果为选择模型前的预分析提供了有效诊断工具——在选定模型前即可识别具备实际预测价值的区间,为跨预测时间尺度配置建模资源奠定了理论基础。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
保形时间序列预测入门指南
专知会员服务
15+阅读 · 2025年11月28日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
29+阅读 · 2025年3月14日
【干货书】用于数据科学分析和预测的时间序列,529页pdf
专知会员服务
123+阅读 · 2022年10月10日
【干货书】预测原理与实战,Forecasting: Principles & Practice
专知会员服务
96+阅读 · 2022年4月11日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
专知会员服务
237+阅读 · 2020年12月15日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
你真的懂时间序列预测吗?
腾讯大讲堂
104+阅读 · 2019年1月7日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
15款免费预测分析软件!收藏好,别丢了!
七月在线实验室
11+阅读 · 2018年2月27日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关VIP内容
保形时间序列预测入门指南
专知会员服务
15+阅读 · 2025年11月28日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
29+阅读 · 2025年3月14日
【干货书】用于数据科学分析和预测的时间序列,529页pdf
专知会员服务
123+阅读 · 2022年10月10日
【干货书】预测原理与实战,Forecasting: Principles & Practice
专知会员服务
96+阅读 · 2022年4月11日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
专知会员服务
237+阅读 · 2020年12月15日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
相关资讯
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
从信息论的角度来理解损失函数
深度学习每日摘要
17+阅读 · 2019年4月7日
你真的懂时间序列预测吗?
腾讯大讲堂
104+阅读 · 2019年1月7日
详解常见的损失函数
七月在线实验室
20+阅读 · 2018年7月12日
15款免费预测分析软件!收藏好,别丢了!
七月在线实验室
11+阅读 · 2018年2月27日
从香农熵到手推KL散度:一文带你纵览机器学习中的信息论
算法与数学之美
10+阅读 · 2018年1月14日
【直观详解】信息熵、交叉熵和相对熵
机器学习研究会
10+阅读 · 2017年11月7日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员