The conditional average treatment effect (CATE) is widely used in personalized medicine to inform therapeutic decisions. However, state-of-the-art methods for CATE estimation (so-called meta-learners) often perform poorly in the presence of low overlap. In this work, we introduce a new approach to tackle this issue and improve the performance of existing meta-learners in the low-overlap regions. Specifically, we introduce Overlap-Adaptive Regularization (OAR) that regularizes target models proportionally to overlap weights so that, informally, the regularization is higher in regions with low overlap. To the best of our knowledge, our OAR is the first approach to leverage overlap weights in the regularization terms of the meta-learners. Our OAR approach is flexible and works with any existing CATE meta-learner: we demonstrate how OAR can be applied to both parametric and non-parametric second-stage models. Furthermore, we propose debiased versions of our OAR that preserve the Neyman-orthogonality of existing meta-learners and thus ensure more robust inference. Through a series of (semi-)synthetic experiments, we demonstrate that our OAR significantly improves CATE estimation in low-overlap settings in comparison to constant regularization.


翻译:条件平均处理效应(CATE)在个性化医疗中被广泛用于指导治疗决策。然而,当前最先进的CATE估计方法(即所谓的元学习器)在数据重叠度较低的情况下往往表现不佳。本研究提出了一种新方法来解决这一问题,并提升现有元学习器在低重叠区域的性能。具体而言,我们引入了重叠自适应正则化(OAR),该方法根据重叠权重按比例对目标模型进行正则化,从而非正式地讲,在重叠度较低的区域施加更强的正则化。据我们所知,我们的OAR是首个在元学习器的正则化项中利用重叠权重的方法。OAR方法具有灵活性,可与任何现有的CATE元学习器结合使用:我们展示了OAR如何应用于参数化和非参数化的第二阶段模型。此外,我们提出了OAR的去偏版本,这些版本保持了现有元学习器的Neyman正交性,从而确保了更稳健的统计推断。通过一系列(半)合成实验,我们证明与恒定正则化相比,我们的OAR在低重叠设置下显著改善了CATE估计。

0
下载
关闭预览

相关内容

在数学,统计学和计算机科学中,尤其是在机器学习和逆问题中,正则化是添加信息以解决不适定问题或防止过度拟合的过程。 正则化适用于不适定的优化问题中的目标函数。
多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
复杂处理下的因果推断:综述
专知会员服务
34+阅读 · 2024年7月22日
【CVPR2023】正则化二阶影响的持续学习
专知会员服务
19+阅读 · 2023年4月22日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
半监督深度学习小结:类协同训练和一致性正则化
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
复杂处理下的因果推断:综述
专知会员服务
34+阅读 · 2024年7月22日
【CVPR2023】正则化二阶影响的持续学习
专知会员服务
19+阅读 · 2023年4月22日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员