Estimating conditional means using only the marginal means available from aggregate data is commonly known as the ecological inference problem (EI). We provide a reassessment of EI, including a new formalization of identification conditions and a demonstration of how these conditions fail to hold in common cases. The identification conditions reveal that, similar to causal inference, credible ecological inference requires controlling for confounders. The aggregation process itself creates additional structure to assist in estimation by restricting the conditional expectation function to be linear in the predictor variable. A linear model perspective also clarifies the differences between the EI methods commonly used in the literature, and when they lead to ecological fallacies. We provide an overview of new methodology which builds on both the identification and linearity results to flexibly control for confounders and yield improved ecological inferences. Finally, using datasets for common EI problems in which the ground truth is fortuitously observed, we show that, while covariates can help, all methods are prone to overestimating both racial polarization and nationalized partisan voting.


翻译:仅利用聚合数据中可得的边际均值来估计条件均值的问题,通常被称为生态推断问题(EI)。本文对生态推断进行了重新评估,包括对识别条件的新形式化,并论证了这些条件在常见情况下如何无法成立。识别条件表明,与因果推断类似,可靠的生态推断需要控制混杂因素。聚合过程本身通过限制条件期望函数在预测变量上为线性,创造了额外的结构以辅助估计。线性模型的视角也澄清了文献中常用生态推断方法之间的差异,以及它们何时会导致生态谬误。我们概述了基于识别条件和线性结果的新方法,该方法能够灵活控制混杂因素并产生改进的生态推断。最后,利用在常见生态推断问题中幸运地观测到真实情况的数据集,我们表明,尽管协变量可能有所帮助,但所有方法都倾向于高估种族两极分化和全国性党派投票的程度。

0
下载
关闭预览

相关内容

事件因果关系识别综述:原理、分类法、挑战与评估
专知会员服务
44+阅读 · 2024年11月18日
基于因果推断的推荐系统去偏研究
专知会员服务
21+阅读 · 2024年11月10日
复杂处理下的因果推断:综述
专知会员服务
34+阅读 · 2024年7月22日
事件抽取的再评价:过去、现在和未来的挑战
专知会员服务
25+阅读 · 2023年11月28日
具有组合结构的统计推断和在线算法
专知会员服务
12+阅读 · 2022年12月13日
因果推断,Causal Inference:The Mixtape
专知会员服务
110+阅读 · 2021年8月27日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
「因果推理」概述论文,13页pdf
专知
16+阅读 · 2021年3月20日
基于深度元学习的因果推断新方法
图与推荐
12+阅读 · 2020年7月21日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
VIP会员
相关VIP内容
事件因果关系识别综述:原理、分类法、挑战与评估
专知会员服务
44+阅读 · 2024年11月18日
基于因果推断的推荐系统去偏研究
专知会员服务
21+阅读 · 2024年11月10日
复杂处理下的因果推断:综述
专知会员服务
34+阅读 · 2024年7月22日
事件抽取的再评价:过去、现在和未来的挑战
专知会员服务
25+阅读 · 2023年11月28日
具有组合结构的统计推断和在线算法
专知会员服务
12+阅读 · 2022年12月13日
因果推断,Causal Inference:The Mixtape
专知会员服务
110+阅读 · 2021年8月27日
因果关联学习,Causal Relational Learning
专知会员服务
185+阅读 · 2020年4月21日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员