AI and data-driven models have large potential for data assimilation applications by creating fast and accurate forecasts. Their tendency to produce spurious inaccurate, nonphysical results -- hallucination -- however, raises a serious question about their long-term use, and can be categorized as untrustworthy methods. Theory-driven methods on the other hand are slow, but are capable of staying physically realistic due to their mathematical underpinning, and can be categorized as trustworthy methods. We argue that by making use of these methods in tandem, it is possible to build a relative measure of trust between the theory-driven and data-driven methods that results in a combined trustworthy methodology. We argue, and then show, that the bandwidth scaling factors in the kernel density estimates can be used to represent our trust in the theory-driven and data-driven models. We provide for ways in which these measures of trust can be adaptively computed through an expectation-maximization approach. We combine all of these ideas to create the multifidelity ensemble Gaussian mixture filter and its adaptive trust version, which are particle filters capable of high-dimensional data assimilation. We validate our ideas on both a static banana problem and on a sequential filtering example with the Lorenz '96 equations, showing that it is possible to create a particle filter that is capable of high dimensional convergent inference in the undersampled regime -- when the number of theory-driven samples is less than the dimension of the system.


翻译:人工智能与数据驱动模型通过生成快速准确的预报,在数据同化领域具有巨大潜力。然而,它们易产生虚假、不准确、非物理的结果(即"幻觉"),这对其长期应用提出了严峻质疑,可被归类为不可信方法。另一方面,理论驱动模型虽速度较慢,但由于其数学基础而能够保持物理现实性,可被归类为可信方法。我们认为,通过协同使用这两种方法,可构建理论驱动与数据驱动方法间的相对信任度量,从而形成一种兼具可信度的综合方法论。我们论证并展示核密度估计中的带宽缩放因子可用于表征对理论驱动与数据驱动模型的信任度。我们提出了通过期望最大化方法自适应计算这些信任度量的途径。我们将这些思想整合,创建了多保真集成高斯混合滤波器及其自适应信任版本——这些粒子滤波器能够实现高维数据同化。我们通过静态香蕉问题及基于Lorenz '96方程的序贯滤波示例验证了这些观点,证明在欠采样条件下(即理论驱动样本数低于系统维度时),可构建实现高维收敛推理的粒子滤波器。

0
下载
关闭预览

相关内容

动态数据驱动仿真综述
专知会员服务
54+阅读 · 2024年5月17日
数据受限条件下的多模态处理技术综述
专知
22+阅读 · 2022年7月16日
清华大学《高级机器学习》课程
专知
40+阅读 · 2020年7月21日
孟小峰:机器学习与数据库技术融合
计算机研究与发展
14+阅读 · 2018年9月6日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
最新内容
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
7+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
13+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
边缘计算的军事应用
专知会员服务
12+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
13+阅读 · 8月8日
相关VIP内容
动态数据驱动仿真综述
专知会员服务
54+阅读 · 2024年5月17日
相关基金
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员