Bayesian optimal experimental design (BOED) provides a powerful, decision-theoretic framework for selecting experiments so as to maximise the expected utility of the data to be collected. In practice, however, its applicability can be limited by the difficulty of optimising the chosen utility. The expected information gain (EIG), for example, is often high-dimensional and strongly non-convex. This challenge is particularly acute in the batch setting, where multiple experiments are to be designed simultaneously. In this paper, we introduce a new approach to batch EIG-based BOED via a probabilistic lifting of the original optimisation problem to the space of probability measures. In particular, we propose to optimise an entropic regularisation of the expected utility over the space of design measures. Under mild conditions, we show that this objective admits a unique minimiser, which can be explicitly characterised in the form of a Gibbs distribution. The resulting design law can be used directly as a randomised batch-design policy, or as a computational relaxation from which a deterministic batch is extracted. To obtain scalable approximations when the batch size is large, we then consider two tractable restrictions of the full batch distribution: a mean-field family, and an i.i.d. product family. For the i.i.d. objective, and formally for its mean-field extension, we derive the corresponding Wasserstein gradient flow, characterise its long-time behaviour, and obtain particle-based algorithms via space-time discretisations. We also introduce doubly stochastic variants that combine interacting particle updates with Monte Carlo estimators of the EIG gradient. Finally, we illustrate the performance of the proposed methods in several numerical experiments, demonstrating their ability to explore multimodal optimisation landscapes and obtain high-utility batches in challenging examples.


翻译:贝叶斯最优实验设计(BOED)为实验选择提供了一个强大的决策理论框架,旨在最大化待收集数据的期望效用。然而,在实际应用中,其适用性可能因所选效用函数优化的困难而受限。例如,期望信息增益(EIG)通常是高维且高度非凸的。这一挑战在批量设置中尤为突出,即需要同时设计多个实验。本文提出一种通过将原始优化问题概率性地提升至概率测度空间的新方法,用于基于批量EIG的BOED。具体而言,我们提出在设计测度空间上优化期望效用的熵正则化目标。在温和条件下,我们证明该目标存在唯一最小化子,且能以吉布斯分布的形式显式表征。所得设计法则可直接用作随机化批量设计策略,或作为计算松弛从中提取确定性批量。为在大批量规模下获得可扩展的近似解,我们进一步考虑完整批量分布的两种可处理限制形式:平均场族与独立同分布乘积族。针对独立同分布目标及其形式化的平均场扩展,我们推导了相应的Wasserstein梯度流,刻画其长期行为,并通过时空离散化得到基于粒子的算法。我们还引入了双重随机变体,将交互粒子更新与EIG梯度的蒙特卡洛估计相结合。最后,通过多个数值实验展示了所提方法的性能,验证了其在多模态优化景观中的探索能力以及在挑战性示例中获得高效用批量的有效性。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
【CMU博士论文】基于深度学习的高效贝叶斯实验设计
专知会员服务
17+阅读 · 2025年8月19日
【牛津大学】贝叶斯优化用于自动化机器学习,321页pdf
专知会员服务
31+阅读 · 2024年5月17日
【2023新书】贝叶斯优化实战,426页pdf
专知会员服务
90+阅读 · 2023年12月20日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
【干货书】贝叶斯推断随机过程,449页pdf
专知
31+阅读 · 2020年8月27日
【深度】让DL可解释?这一份66页贝叶斯深度学习教程告诉你
GAN生成式对抗网络
15+阅读 · 2018年8月11日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
贝叶斯网络入门
论智
15+阅读 · 2017年11月19日
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员