We consider a setting with $N$ heterogeneous units and $p$ interventions. Our goal is to learn unit-specific potential outcomes for any combination of these $p$ interventions, i.e., $N \times 2^p$ causal parameters. Choosing combinations of interventions is a problem that naturally arises in many applications such as factorial design experiments, recommendation engines (e.g., showing a set of movies that maximizes engagement for users), combination therapies in medicine, selecting important features for ML models, etc. Running $N \times 2^p$ experiments to estimate the various parameters is infeasible as $N$ and $p$ grow. Further, with observational data there is likely confounding, i.e., whether or not a unit is seen under a combination is correlated with its potential outcome under that combination. To address these challenges, we propose a novel model that imposes latent structure across both units and combinations. We assume latent similarity across units (i.e., the potential outcomes matrix is rank $r$) and regularity in how combinations interact (i.e., the coefficients in the Fourier expansion of the potential outcomes is $s$ sparse). We establish identification for all causal parameters despite unobserved confounding. We propose an estimation procedure, Synthetic Combinations, and establish finite-sample consistency under precise conditions on the observation pattern. Our results imply Synthetic Combinations consistently estimates unit-specific potential outcomes given $\text{poly}(r) \times (N + s^2p)$ observations. In comparison, previous methods that do not exploit structure across both units and combinations have sample complexity scaling as $\min(N \times s^2p, \ \ r \times (N + 2^p))$. We use Synthetic Combinations to propose a data-efficient experimental design mechanism for combinatorial causal inference. We corroborate our theoretical findings with numerical simulations.


翻译:我们考虑一个包含N个异质性单元和p种干预措施的设定。目标是学习任意p种干预组合下单位特定的潜在结果,即N×2^p个因果参数。选择干预组合是许多应用中自然出现的问题,例如析因设计实验、推荐引擎(如为用户展示最大化参与度的电影集合)、医学中的联合疗法、机器学习模型的重要特征选择等。随着N和p的增长,通过运行N×2^p个实验来估计各类参数变得不可行。此外,在观测数据中可能存在混杂偏倚,即单元出现在某组合下的情况与其在该组合下的潜在结果存在相关性。为应对这些挑战,我们提出一种同时引入单元和组合间隐式结构的新型模型。我们假设单元间存在潜在相似性(即潜在结果矩阵的秩为r),并且组合交互具有规律性(即潜在结果傅里叶展开系数具有s稀疏性)。尽管存在未观测混杂因素,我们仍建立了所有因果参数的可识别性。我们提出估计方法"合成组合"(Synthetic Combinations),并在精确的观测模式条件下证明其有限样本一致性。结果表明,在给定poly(r)×(N+s²p)个观测数据时,合成组合能一致估计单位特定潜在结果。相比之下,未同时利用单元与组合结构的方法需要min(N×s²p, r×(N+2^p))量级的样本复杂度。我们利用合成组合提出一种数据高效的实验设计机制用于组合因果推断,并通过数值模拟验证了理论发现。

0
下载
关闭预览

相关内容

【AAAI2022】知识图谱表示模型是如何进行外推的?
专知会员服务
23+阅读 · 2022年2月2日
因果推断,Causal Inference:The Mixtape
专知会员服务
110+阅读 · 2021年8月27日
专知会员服务
16+阅读 · 2021年5月21日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
因果森林总结:基于树模型的异质因果效应估计
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
单位圆与三角函数
遇见数学
14+阅读 · 2019年1月22日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【数据集】新的YELP数据集官方下载
机器学习研究会
16+阅读 · 2017年8月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年5月15日
Arxiv
0+阅读 · 2023年5月12日
Arxiv
29+阅读 · 2023年2月10日
Arxiv
10+阅读 · 2021年11月3日
Arxiv
12+阅读 · 2021年6月29日
VIP会员
最新内容
乌克兰战场背后的新武器
专知会员服务
2+阅读 · 今天4:55
基于博弈论的陆军人机协同(长文报告)
专知会员服务
5+阅读 · 今天1:54
美国陆军航空兵:以愿景引领转型
专知会员服务
3+阅读 · 今天1:38
《多域战场上反制小型无人机系统》150页
专知会员服务
14+阅读 · 6月11日
战场人工智能:增强陆地作战能力的发现与要求
以人工智能为中心的指挥控制
专知会员服务
5+阅读 · 6月11日
相关资讯
因果森林总结:基于树模型的异质因果效应估计
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
Multi-Task Learning的几篇综述文章
深度学习自然语言处理
15+阅读 · 2020年6月15日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
单位圆与三角函数
遇见数学
14+阅读 · 2019年1月22日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
【数据集】新的YELP数据集官方下载
机器学习研究会
16+阅读 · 2017年8月31日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员