Bayesian experimental design (BED) provides a principled framework for optimizing data collection by choosing experiments that are maximally informative about unknown parameters. However, existing methods cannot deal with the joint challenge of (a) partially observable dynamical systems, where only noisy and incomplete observations are available, and (b) fully online inference, which updates posterior distributions and selects designs sequentially in a computationally efficient manner. Under partial observability, dynamical systems are naturally modeled as state-space models (SSMs), where latent states mediate the link between parameters and data, making the likelihood -- and thus information-theoretic objectives like the expected information gain (EIG) -- intractable. We address these challenges by deriving new estimators of the EIG and its gradient that explicitly marginalize latent states, enabling scalable stochastic optimization in nonlinear SSMs. Our approach leverages nested particle filters for efficient online state-parameter inference with convergence guarantees. Applications to realistic models, such as the susceptible-infectious-recovered (SIR) and a moving source location task, show that our framework successfully handles both partial observability and online inference.


翻译:贝叶斯实验设计(BED)为优化数据采集提供了一个原则性框架,通过选择对未知参数信息量最大的实验。然而,现有方法无法同时应对以下两个挑战:(a)部分可观测动态系统,其中仅能获得含噪声且不完整的观测数据;(b)完全在线推断,即以计算高效的方式顺序更新后验分布并选择实验方案。在部分可观测条件下,动态系统自然被建模为状态空间模型(SSM),其中潜在状态作为参数与数据之间的中介,使得似然函数——以及诸如期望信息增益(EIG)等信息论目标——难以处理。我们通过推导新的EIG及其梯度估计量来解决这些挑战,这些估计量显式地对潜在状态进行边缘化处理,从而在非线性SSM中实现可扩展的随机优化。我们的方法利用嵌套粒子滤波器进行高效的在线状态-参数推断,并具有收敛性保证。在现实模型(如易感-感染-恢复(SIR)模型和移动源定位任务)上的应用表明,该框架成功解决了部分可观测性与在线推断的双重挑战。

0
下载
关闭预览

相关内容

【CMU博士论文】基于深度学习的高效贝叶斯实验设计
专知会员服务
17+阅读 · 2025年8月19日
【牛津大学】贝叶斯优化用于自动化机器学习,321页pdf
专知会员服务
31+阅读 · 2024年5月17日
【Nature】贝叶斯统计与建模综述,26页pdf
专知会员服务
77+阅读 · 2021年1月21日
【干货书】贝叶斯推断随机过程,449页pdf
专知
30+阅读 · 2020年8月27日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
45+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月3日
Arxiv
0+阅读 · 1月20日
VIP会员
相关资讯
【干货书】贝叶斯推断随机过程,449页pdf
专知
30+阅读 · 2020年8月27日
【新书册】贝叶斯神经网络,41页pdf
专知
29+阅读 · 2020年6月3日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
45+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员