Data assimilation (DA) is a cornerstone of scientific and engineering applications, combining model forecasts with sparse and noisy observations to estimate latent system states. Classical high-dimensional DA methods, such as the ensemble Kalman filter, rely on Gaussian approximations that are violated for complex dynamics or observation operators. To address this limitation, we introduce DAISI, a scalable filtering algorithm built on flow-based generative models that enables flexible probabilistic inference using data-driven priors. The core idea is to use a stationary, pre-trained generative prior that first incorporates forecast information through a novel inverse-sampling step, before assimilating observations via guidance-based conditional sampling. This allows us to leverage any forecasting model as part of the DA pipeline without having to retrain or fine-tune the generative prior at each assimilation step. Experiments on challenging nonlinear systems show that DAISI achieves accurate filtering results in regimes with sparse, noisy, and nonlinear observations where traditional methods struggle.


翻译:数据同化(DA)是科学与工程应用中的基石技术,其通过结合模型预报与稀疏噪声观测来估计潜在系统状态。经典的高维数据同化方法(如集合卡尔曼滤波)依赖于高斯近似假设,该假设在复杂动力学或观测算子场景下往往失效。为突破这一局限,我们提出DAISI——一种基于流生成模型的可扩展滤波算法,能够利用数据驱动的先验分布实现灵活的概率推断。其核心思想是采用一个平稳的预训练生成先验,该先验首先通过新颖的逆采样步骤融合预报信息,再通过基于引导的条件采样同化观测数据。这使得我们能够在数据同化流程中灵活调用任意预报模型,而无需在每一步同化时重新训练或微调生成先验。在具有稀疏性、噪声和非线性观测的挑战性非线性系统上的实验表明,DAISI在传统方法难以应对的场景中仍能实现精确的滤波结果。

0
下载
关闭预览

相关内容

基于深度学习的数据融合方法研究综述
专知
37+阅读 · 2020年12月10日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员