Maximizing a target variable as an operational objective within a structural causal model is a fundamental problem. Causal Bayesian Optimization (CBO) approaches typically achieve this either by performing interventions that modify the causal structure to increase the reward or by introducing action nodes to endogenous variables, thereby adjusting the data-generating mechanisms to meet the objective. In this paper, we propose a novel method that learns the distribution of exogenous variables-an aspect often ignored or marginalized through expectation in existing CBO frameworks. By modeling the exogenous distribution, we enhance the approximation fidelity of the data-generating structural causal models (SCMs) used in surrogate models, which are commonly trained on limited observational data. Furthermore, the ability to recover exogenous variables enables the application of our approach to more general causal structures beyond the confines of Additive Noise Models (ANMs) and single-mode Gaussian, allowing the use of more expressive priors for context noise. We incorporate the learned exogenous distribution into a new CBO method, demonstrating its advantages across diverse datasets and application scenarios.


翻译:在结构因果模型中最大化目标变量作为操作目标是一个基础性问题。因果贝叶斯优化方法通常通过两种途径实现:一是执行干预以修改因果结构来提升奖励;二是向内生变量引入行动节点,从而调整数据生成机制以满足目标。本文提出一种新方法,该方法学习外生变量的分布——这一维度在现有因果贝叶斯优化框架中常被忽略或通过期望运算被边缘化。通过对建模外生分布,我们提升了代理模型中使用的数据生成结构因果模型的近似保真度,这些代理模型通常基于有限的观测数据进行训练。此外,恢复外生变量的能力使我们的方法能够应用于更广泛的因果结构,突破加性噪声模型和单峰高斯分布的限制,从而允许使用更具表达力的先验分布来建模情境噪声。我们将学习到的外生分布整合到一种新的因果贝叶斯优化方法中,并在多样化数据集和应用场景中验证了其优势。

0
下载
关闭预览

相关内容

【牛津大学】贝叶斯优化用于自动化机器学习,321页pdf
专知会员服务
31+阅读 · 2024年5月17日
【NeurIPS2021】学习用于分布外预测的因果语义表示
专知会员服务
18+阅读 · 2021年11月19日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
【ETH博士论文】贝叶斯深度学习,241页pdf
专知
10+阅读 · 2022年1月16日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
一文读懂机器学习中的贝叶斯统计学
数据分析
26+阅读 · 2019年5月8日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2月3日
Arxiv
0+阅读 · 1月23日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
16+阅读 · 2017年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员