We show that time series foundation models scale: a single training recipe produces reliable forecast-quality improvements from 4M to 2.5B parameters. We release Toto 2.0, a family of five open-weights forecasting models trained under this recipe. The Toto 2.0 family sets a new state of the art on three forecasting benchmarks: BOOM, our observability benchmark; GIFT-Eval, the standard general-purpose benchmark; and the recent contamination-resistant TIME benchmark. This report describes our experimental results and details the design decisions behind Toto 2.0: its architecture and training recipe, training data, and the u-muP hyperparameter transfer pipeline. All five base checkpoints are released under Apache 2.0.


翻译:我们证明时间序列基础模型具有可扩展性:单一训练方案可在参数量从4M到2.5B范围内实现可靠的预测质量提升。我们发布Toto 2.0——遵循该方案训练的五款开源权重预测模型系列。Toto 2.0系列在三个预测基准上创下新最优结果:观测性基准BOOM、标准通用基准GIFT-Eval以及近期推出的抗污染基准TIME。本报告阐述我们的实验结果并详述Toto 2.0背后的设计决策:其架构与训练方案、训练数据,以及u-muP超参数迁移管道。所有五个基础检查点均依据Apache 2.0协议发布。

0
下载
关闭预览

相关内容

用于时间序列预测的扩散模型:综述
专知会员服务
30+阅读 · 2025年7月22日
决策智能中的时间序列预测大模型
专知会员服务
33+阅读 · 2025年5月8日
时间序列大模型综述
专知会员服务
47+阅读 · 2025年4月8日
【干货书】用于数据科学分析和预测的时间序列,529页pdf
专知会员服务
123+阅读 · 2022年10月10日
专知会员服务
237+阅读 · 2020年12月15日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
时空序列预测方法综述
专知
22+阅读 · 2020年10月19日
你真的懂时间序列预测吗?
腾讯大讲堂
104+阅读 · 2019年1月7日
基于 Keras 用深度学习预测时间序列
R语言中文社区
23+阅读 · 2018年7月27日
回归预测&时间序列预测
GBASE数据工程部数据团队
44+阅读 · 2017年5月17日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
VIP会员
最新内容
《无人地面战车(UGV)的崛起》报告
专知会员服务
5+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
7+阅读 · 7月16日
相关VIP内容
用于时间序列预测的扩散模型:综述
专知会员服务
30+阅读 · 2025年7月22日
决策智能中的时间序列预测大模型
专知会员服务
33+阅读 · 2025年5月8日
时间序列大模型综述
专知会员服务
47+阅读 · 2025年4月8日
【干货书】用于数据科学分析和预测的时间序列,529页pdf
专知会员服务
123+阅读 · 2022年10月10日
专知会员服务
237+阅读 · 2020年12月15日
【WSDM2021】基于演化状态图的时间序列事件预测
专知会员服务
54+阅读 · 2020年12月1日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
14+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员