Experiments deliver credible treatment-effect estimates but, because they are costly, are often restricted to specific sites, small populations, or particular mechanisms. A common practice across several fields is therefore to combine experimental estimates with reduced-form or structural external (observational) evidence to answer broader policy questions such as those involving general equilibrium effects or external validity. We develop a unified framework for the design of experiments when combined with external evidence, i.e., choosing which experiment(s) to run and how to allocate sample size under arbitrary budget constraints. Because observational evidence may suffer bias unknown ex-ante, we evaluate designs using a minimax proportional-regret criterion that compares any candidate design to an oracle that knows the observational study bias and jointly chooses the design and estimator. This yields a transparent bias-variance trade-off that does not require the researcher to specify a bias bound and relies only on information already needed for conventional power calculations. We illustrate the framework by (i) designing cash-transfer experiments aimed at estimating general equilibrium effects and (ii) optimizing site selection for microfinance interventions.


翻译:实验能够提供可信的处理效应估计,但由于成本高昂,通常局限于特定地点、小规模人群或特定机制。因此,多个领域的常见做法是将实验估计与简化形式或结构化的外部(观察性)证据相结合,以回答更广泛的政策问题,例如涉及一般均衡效应或外部有效性的问题。我们开发了一个统一框架,用于在结合外部证据时设计实验,即在任意预算约束下选择运行哪些实验以及如何分配样本量。由于观察性证据可能存在事先未知的偏差,我们使用极小化最大比例遗憾准则来评估设计,该准则将任何候选设计与一个知晓观察研究偏差并联合选择设计和估计量的预言机进行比较。这产生了一个透明的偏差-方差权衡,不需要研究者指定偏差界限,并且仅依赖于传统功效计算所需的信息。我们通过以下方式说明该框架:(i)设计旨在估计一般均衡效应的现金转移实验,以及(ii)优化小额信贷干预的地点选择。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
【NeurIPS2021】组合能量概念无监督学习
专知会员服务
14+阅读 · 2021年11月5日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS2022】通过模型转换的可解释强化学习
专知会员服务
38+阅读 · 2022年10月4日
【NeurIPS2021】组合能量概念无监督学习
专知会员服务
14+阅读 · 2021年11月5日
相关基金
国家自然科学基金
17+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员