AI and data-driven models have large potential for data assimilation applications by creating fast and accurate forecasts. Their tendency to produce spurious inaccurate, nonphysical results -- hallucination -- however, raises a serious question about their long-term use, and can be categorized as untrustworthy methods. Theory-driven methods on the other hand are slow, but are capable of staying physically realistic due to their mathematical underpinning, and can be categorized as trustworthy methods. We argue that by making use of these methods in tandem, it is possible to build a relative measure of trust between the theory-driven and data-driven methods that results in a combined trustworthy methodology. We argue, and then show, that the bandwidth scaling factors in the kernel density estimates can be used to represent our trust in the theory-driven and data-driven models. We provide for ways in which these measures of trust can be adaptively computed through an expectation-maximization approach. We combine all of these ideas to create the multifidelity ensemble Gaussian mixture filter and its adaptive trust version, which are particle filters capable of high-dimensional data assimilation. We validate our ideas on both a static banana problem and on a sequential filtering example with the Lorenz '96 equations, showing that it is possible to create a particle filter that is capable of high dimensional convergent inference in the undersampled regime -- when the number of theory-driven samples is less than the dimension of the system.


翻译:人工智能与数据驱动模型通过生成快速准确的预报,在数据同化领域具有巨大潜力。然而,它们易产生虚假、不准确、非物理的结果(即"幻觉"),这对其长期应用提出了严峻质疑,可被归类为不可信方法。另一方面,理论驱动模型虽速度较慢,但由于其数学基础而能够保持物理现实性,可被归类为可信方法。我们认为,通过协同使用这两种方法,可构建理论驱动与数据驱动方法间的相对信任度量,从而形成一种兼具可信度的综合方法论。我们论证并展示核密度估计中的带宽缩放因子可用于表征对理论驱动与数据驱动模型的信任度。我们提出了通过期望最大化方法自适应计算这些信任度量的途径。我们将这些思想整合,创建了多保真集成高斯混合滤波器及其自适应信任版本——这些粒子滤波器能够实现高维数据同化。我们通过静态香蕉问题及基于Lorenz '96方程的序贯滤波示例验证了这些观点,证明在欠采样条件下(即理论驱动样本数低于系统维度时),可构建实现高维收敛推理的粒子滤波器。

0
下载
关闭预览

相关内容

动态数据驱动仿真综述
专知会员服务
53+阅读 · 2024年5月17日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
清华大学《高级机器学习》课程
专知
40+阅读 · 2020年7月21日
孟小峰:机器学习与数据库技术融合
计算机研究与发展
14+阅读 · 2018年9月6日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
1+阅读 · 今天15:00
21世纪的无人机战争
专知会员服务
2+阅读 · 今天14:05
《量子技术的军事任务技术适配与利用》
专知会员服务
2+阅读 · 今天13:51
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
动态数据驱动仿真综述
专知会员服务
53+阅读 · 2024年5月17日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员