Forecasting systems are commonly refreshed at every review period, and that refresh usually bundles two distinct operations: estimating parameters and selecting the model form. Recent evidence suggests the second operation is often unnecessary, since intermediate updating strategies can hold forecast accuracy roughly fixed while cutting computational cost and forecast instability. This technical note takes up the complementary question. Once a system has adopted a reduced-update policy, when should it interrupt that policy and re-specify the model form? We define specification debt as the evidence accumulated against the deployed model form, and we use it to build a cost-sensitive trigger for re-specification. In a closed discrete model space the trigger reduces to a threshold on the negative log posterior probability of the deployed specification. In open production settings the same decision rule can be run with predictive score gaps, stacking weights, or calibrated monitoring diagnostics. Fixed update frequencies turn out to be a special case of the rule, recovered when evidence against the deployed form accumulates at a constant rate. We illustrate the idea on 500 monthly M4 series, comparing full updating, fixed model-form update frequencies, parameter-only updating, and capped adaptive score-triggered updating, and within the finite ETS grid we also compute information-criterion analogues of specification debt from AIC and BIC weights over the candidate forms. In that illustration the best capped adaptive policy is comparable to full updating in accuracy, runs in about 28 percent of full-update computational time, lowers forecast instability, and behaves like a fixed schedule with a small number of evidence-based exceptions.


翻译:预测系统通常在每个评估周期进行更新,且该更新通常包含两个不同的操作:参数估计和模型形式选择。近期证据表明,第二个操作往往并非必要,因为中间更新策略可在保持预测准确性大致不变的同时,降低计算成本与预测不稳定性。本技术笔记探讨一个互补性问题:当系统已采用缩减更新策略后,应何时中断该策略并重新设定模型形式?我们将部署模型形式累积的反面证据定义为“设定债务”,并据此构建一个成本敏感的重新设定触发器。在封闭离散模型空间中,该触发器简化为对所部署模型形式负对数后验概率的阈值判定。在开放生产环境中,同一决策规则可通过预测得分差距、堆叠权重或校准监控诊断指标执行。固定更新频率实为该规则的一种特例——当反面证据以恒定速率累积时即可复现。我们基于500个M4月度序列进行验证,对比了完整更新、固定模型形式更新频率、仅参数更新以及受限自适应得分触发更新,并在有限ETS网格内,依据候选形式的AIC与BIC权重计算了信息准则形式的设定债务。在该验证中,最优受限自适应策略的准确性接近完整更新,运行时间约为完整更新的28%,降低了预测不稳定性,且表现为一种带有少量基于证据的例外的固定调度方案。

0
下载
关闭预览

相关内容

ACM/IEEE第23届模型驱动工程语言和系统国际会议,是模型驱动软件和系统工程的首要会议系列,由ACM-SIGSOFT和IEEE-TCSE支持组织。自1998年以来,模型涵盖了建模的各个方面,从语言和方法到工具和应用程序。模特的参加者来自不同的背景,包括研究人员、学者、工程师和工业专业人士。MODELS 2019是一个论坛,参与者可以围绕建模和模型驱动的软件和系统交流前沿研究成果和创新实践经验。今年的版本将为建模社区提供进一步推进建模基础的机会,并在网络物理系统、嵌入式系统、社会技术系统、云计算、大数据、机器学习、安全、开源等新兴领域提出建模的创新应用以及可持续性。 官网链接:http://www.modelsconference.org/
预训练视觉模型的参数高效微调
专知会员服务
32+阅读 · 2024年3月19日
深度预测学习:模型与应用
专知会员服务
49+阅读 · 2022年12月5日
您可以相信模型的不确定性吗?
TensorFlow
14+阅读 · 2020年1月31日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
用机器学习来预测股价(代码+文档)——2018年iNTUtion决赛大作!
量化投资与机器学习
25+阅读 · 2018年11月20日
使用LSTM模型预测股价基于Keras
量化投资与机器学习
35+阅读 · 2018年11月17日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
预训练视觉模型的参数高效微调
专知会员服务
32+阅读 · 2024年3月19日
深度预测学习:模型与应用
专知会员服务
49+阅读 · 2022年12月5日
相关资讯
您可以相信模型的不确定性吗?
TensorFlow
14+阅读 · 2020年1月31日
你的算法可靠吗? 神经网络不确定性度量
专知
40+阅读 · 2019年4月27日
用机器学习来预测股价(代码+文档)——2018年iNTUtion决赛大作!
量化投资与机器学习
25+阅读 · 2018年11月20日
使用LSTM模型预测股价基于Keras
量化投资与机器学习
35+阅读 · 2018年11月17日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员