Data assimilation (DA) combines partial observations with dynamical models to improve state estimation. Filter-based DA uses only past and present data and is the prerequisite for real-time forecasts. Smoother-based DA exploits both past and future observations. It aims to fill in missing data, provide more accurate estimations, and develop high-quality datasets. However, the standard smoothing procedure requires using all historical state estimations, which is storage-demanding, especially for high-dimensional systems. This paper develops an adaptive-lag online smoother for a large class of complex dynamical systems with strong nonlinear and non-Gaussian features, which has important applications to many real-world problems. The adaptive lag allows the utilization of observations only within a nearby window, thus reducing computational complexity and storage needs. Online lag adjustment is essential for tackling turbulent systems, where temporal autocorrelation varies significantly over time due to intermittency, extreme events, and nonlinearity. Based on the uncertainty reduction in the estimated state, an information criterion is developed to systematically determine the adaptive lag. Notably, the mathematical structure of these systems facilitates the use of closed analytic formulae to calculate the online smoother and adaptive lag, avoiding empirical tunings as in ensemble-based DA methods. The adaptive online smoother is applied to studying three important scientific problems. First, it helps detect online causal relationships between state variables. Second, the advantage of reduced computational storage expenditure is illustrated via Lagrangian DA, a high-dimensional nonlinear problem. Finally, the adaptive smoother advances online parameter estimation with partial observations, emphasizing the role of the observed extreme events in accelerating convergence.


翻译:数据同化(DA)通过结合部分观测数据与动力学模型来改进状态估计。基于滤波器的DA仅利用过去和当前数据,是实现实时预报的前提。基于平滑器的DA则同时利用过去与未来观测数据,其目标在于填补缺失数据、提供更精确的估计值以及构建高质量数据集。然而,标准平滑流程需调用全部历史状态估计值,这对高维系统尤其构成显著的存储负担。本文针对一大类具有强非线性和非高斯特征的复杂动力系统,开发了一种自适应滞后在线平滑器,该模型在众多现实问题中具有重要应用价值。自适应滞后机制仅需利用邻近时间窗内的观测数据,从而显著降低计算复杂度与存储需求。在线滞后调整对于处理湍流系统至关重要,这类系统因间歇性、极端事件和非线性效应导致时间自相关性随时间剧烈变化。基于估计状态的不确定性降低程度,本文构建了一种信息准则以系统化确定自适应滞后量。值得注意的是,该类系统的数学结构支持采用闭式解析公式计算在线平滑器与自适应滞后,避免了基于集合的DA方法中常见的经验调参过程。本文通过三个重要科学问题验证了自适应在线平滑器的应用价值:首先,该方法可在线检测状态变量间的因果关系;其次,通过高维非线性问题——拉格朗日数据同化,展示了其在降低计算存储开销方面的优势;最后,该自适应平滑器推动了基于部分观测数据的在线参数估计研究,并揭示了观测极端事件在加速收敛过程中的关键作用。

0
下载
关闭预览

相关内容

【ACMMM2024】用于多媒体推荐的模态平衡学习"
专知会员服务
13+阅读 · 2024年8月14日
xgboost特征选择
数据挖掘入门与实战
39+阅读 · 2017年10月5日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【ACMMM2024】用于多媒体推荐的模态平衡学习"
专知会员服务
13+阅读 · 2024年8月14日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员