The rapid evolution of Time Series Foundation Models (TSFMs) has advanced zero-shot forecasting across diverse domains. Inspired by the current form of Large Language Models, future TSFMs may be offered as commercialized, closed-source API services. However, many existing online adaptation methods still rely on white-box access for parameter fine-tuning or gradient backpropagation. This paradigm mismatch raises a question: In black-box online adaptation for TSFMs, what should we learn? We answer this with an insight: the predictive errors of the base model are conditioned on both the input and output of the base model (i.e., the context of errors). To validate this insight, we propose ORCA (Online Residual Contextual Adaptation). We conduct extensive experiments across 5 state-of-the-art TSFMs and 8 datasets to demonstrate the effectiveness of our approach. Furthermore, through ablation studies, we quantitatively analyze the impact of different adapter learning hypotheses on the final adaptation performance in black-box online adaptation. Code available at https://github.com/Fifthky/ORCA.


翻译:时间序列基础模型(TSFMs)的快速发展推动了跨领域零样本预测的进步。受当前大型语言模型形态的启发,未来的TSFMs可能作为商业化、闭源的API服务提供。然而,许多现有的在线适应方法仍依赖白箱访问进行参数微调或梯度反向传播。这种范式错位引发了一个问题:在TSFMs的黑箱在线适应中,我们应该学习什么?我们用一个洞见来回答:基础模型的预测误差同时受其输入和输出(即误差语境)条件约束。为验证这一洞见,我们提出ORCA(在线残差语境适应)。我们在5个最先进TSFMs和8个数据集上进行广泛实验,证明了我们方法的有效性。此外,通过消融研究,我们定量分析了不同适配器学习假设对黑箱在线适应最终性能的影响。代码见https://github.com/Fifthky/ORCA。

0
下载
关闭预览

相关内容

决策智能中的时间序列预测大模型
专知会员服务
34+阅读 · 1月7日
用于时间序列预测的扩散模型:综述
专知会员服务
30+阅读 · 2025年7月22日
时间序列大模型综述
专知会员服务
47+阅读 · 2025年4月8日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
30+阅读 · 2025年3月14日
时空基础模型:愿景、挑战与机遇
专知会员服务
41+阅读 · 2025年1月18日
深度学习和基础模型在时间序列预测中的综述
专知会员服务
51+阅读 · 2024年1月26日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
最新内容
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
1+阅读 · 今天13:43
博士论文 | 大动作空间中的在线与离线策略学习
专知会员服务
0+阅读 · 今天13:36
综述 | Autonomous Research Agents:AI 科学家与验证缺口
《多域冲突比较支持模型》60页
专知会员服务
9+阅读 · 8月7日
面向2027年及未来的海军情报改革
专知会员服务
6+阅读 · 8月5日
相关VIP内容
决策智能中的时间序列预测大模型
专知会员服务
34+阅读 · 1月7日
用于时间序列预测的扩散模型:综述
专知会员服务
30+阅读 · 2025年7月22日
时间序列大模型综述
专知会员服务
47+阅读 · 2025年4月8日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
30+阅读 · 2025年3月14日
时空基础模型:愿景、挑战与机遇
专知会员服务
41+阅读 · 2025年1月18日
深度学习和基础模型在时间序列预测中的综述
专知会员服务
51+阅读 · 2024年1月26日
【Google-BryanLim等】可解释深度学习时序预测
专知会员服务
64+阅读 · 2021年12月19日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员