Inherent temporal heterogeneity, such as varying sampling densities and periodic structures, has posed substantial challenges in zero-shot generalization for Time Series Foundation Models (TSFMs). Existing TSFMs predominantly rely on massive parameterization to absorb such heterogeneity, as their static tokenization and positional encoding schemes entangle diverse temporal patterns into a fixed representation space, encouraging memorization rather than adaptation. To address this limitation, we propose Kairos, a flexible and parameter-efficient TSFM that decouples temporal heterogeneity from model capacity through a novel tokenization perspective. Kairos introduces a dynamic patching tokenizer and a mixture-of-size encoding that adapt observational granularity to local information density, enabling fine-grained temporal abstraction without increasing model width or depth. In addition, we design a multi-granularity positional embedding based on dynamic rotary encodings, which conditions on instance-level spectral features and temporal structure induced by dynamic patching tokenization, allowing robust modeling of diverse temporal dependencies. Trained on a novel Predictability-Stratified Time-Series (PreSTS) corpus, Kairos achieves superior zero-shot performance with substantially fewer parameters on two mainstream benchmarks, GIFT-Eval and Time-Series-Library. The project page is at https://foundation-model-research.github.io/Kairos .


翻译:固有的时间异质性,如变化的采样密度与周期性结构,为零样本泛化的时间序列基础模型带来了重大挑战。现有TSFM主要依赖海量参数化来吸收此类异质性,因其静态分词与位置编码方案将多样的时间模式纠缠于固定表示空间,鼓励记忆而非适应。为克服此局限,我们提出Kairos——一种灵活且参数高效的TSFM,通过新颖的分词视角将时间异质性与模型容量解耦。Kairos引入动态分块分词器与混合尺度编码,使观测粒度适配局部信息密度,实现细粒度时间抽象而无需增加模型宽度或深度。此外,我们设计了基于动态旋转编码的多粒度位置嵌入,该嵌入以实例级谱特征及动态分块分词诱导的时间结构为条件,从而实现对多样时间依赖关系的鲁棒建模。在新型可预测性分层时间序列语料库上训练的Kairos,于GIFT-Eval与Time-Series-Library两大主流基准测试中,以显著更少的参数实现了卓越的零样本性能。项目页面位于https://foundation-model-research.github.io/Kairos。

0
下载
关闭预览

相关内容

决策智能中的时间序列预测大模型
专知会员服务
34+阅读 · 1月7日
时间序列大模型综述
专知会员服务
46+阅读 · 2025年4月8日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
28+阅读 · 2025年3月14日
「深度时间序列模型」综述
专知会员服务
43+阅读 · 2024年7月19日
时间序列和时空数据扩散模型综述
专知会员服务
64+阅读 · 2024年5月1日
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
利用动态深度学习预测金融时间序列基于Python
量化投资与机器学习
18+阅读 · 2018年10月30日
基于 Keras 用 LSTM 网络做时间序列预测
R语言中文社区
21+阅读 · 2018年8月6日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
VIP会员
相关VIP内容
决策智能中的时间序列预测大模型
专知会员服务
34+阅读 · 1月7日
时间序列大模型综述
专知会员服务
46+阅读 · 2025年4月8日
《深度学习在时间序列预测中的应用:综述》
专知会员服务
28+阅读 · 2025年3月14日
「深度时间序列模型」综述
专知会员服务
43+阅读 · 2024年7月19日
时间序列和时空数据扩散模型综述
专知会员服务
64+阅读 · 2024年5月1日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员