We show that AI foundation models that are pretrained on numerical solutions to a diverse corpus of partial differential equations can be adapted and fine-tuned to obtain skillful predictive weather emulators for the Martian atmosphere. We base our work on the Poseidon PDE foundation model for two-dimensional systems. We develop a method to extend Poseidon from two to three dimensions while keeping the pretraining information. Moreover, we investigate the performance of the model in the presence of sparse initial conditions. Our results make use of four Martian years (approx.~34 GB) of training data and a median compute budget of 13 GPU hours. We find that the combination of pretraining and model extension yields a performance increase of 34.4\% on a held-out year. This shows that PDEs-FMs can not only approximate solutions to (other) PDEs but also anchor models for real-world problems with complex interactions that lack a sufficient amount of training data or a suitable compute budget.


翻译:我们证明,通过对偏微分方程多样化数值解进行预训练的人工智能基础模型,可以经过适配与微调,获得对火星大气具有高预测技能的天气模拟器。本研究基于面向二维系统的Poseidon偏微分方程基础模型开展工作。我们提出了一种将Poseidon从二维扩展至三维的方法,同时保留其预训练信息。此外,我们探究了模型在稀疏初始条件下的性能表现。我们的实验结果利用了四个火星年(约34 GB)的训练数据及13 GPU小时的中位数计算预算。研究发现,预训练与模型扩展相结合可使模型在预留年份数据上的性能提升34.4%。这表明偏微分方程基础模型不仅能够逼近(其他)偏微分方程的解,还能作为锚定模型应用于那些训练数据不足、计算预算有限但具有复杂相互作用的现实问题。

0
下载
关闭预览

相关内容

在搭建网络模型时,需要随机初始化参数,然后开始训练网络,不断调整直到网络的损失越来越小。在训练的过程中,一开始初始化的参数会不断变化。当参数训练到比较好的时候就可以将训练模型的参数保存下来,以便训练好的模型可以在下次执行类似任务时获得较好的结果。
AI大模型技术在电力系统中的应用及发展趋势
专知会员服务
18+阅读 · 2025年6月23日
联邦学习中基础模型参数高效微调综述
专知会员服务
16+阅读 · 2025年5月5日
深度学习与基础模型在天气预测中的应用:综述
专知会员服务
24+阅读 · 2025年1月15日
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
大模型+遥感?最新《遥感中的人工智能基础模型》综述
专知会员服务
63+阅读 · 2024年8月10日
专知会员服务
39+阅读 · 2021年8月31日
专访俞栋:多模态是迈向通用人工智能的重要方向
AI科技评论
26+阅读 · 2019年9月9日
斯坦福CS236-深度生成模型2019-全套课程资料分享
深度学习与NLP
20+阅读 · 2019年8月20日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
AI大模型技术在电力系统中的应用及发展趋势
专知会员服务
18+阅读 · 2025年6月23日
联邦学习中基础模型参数高效微调综述
专知会员服务
16+阅读 · 2025年5月5日
深度学习与基础模型在天气预测中的应用:综述
专知会员服务
24+阅读 · 2025年1月15日
遥感基础模型发展综述与未来设想
专知会员服务
20+阅读 · 2024年8月13日
大模型+遥感?最新《遥感中的人工智能基础模型》综述
专知会员服务
63+阅读 · 2024年8月10日
专知会员服务
39+阅读 · 2021年8月31日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员