Estimating population quantities such as mean outcomes from user feedback is fundamental to platform evaluation and social science, yet feedback is often missing not at random (MNAR): users with stronger opinions are more likely to respond, so standard estimators are biased and the estimand is not identified without additional assumptions. Existing approaches typically rely on strong parametric assumptions or bespoke auxiliary variables that may be unavailable in practice. In this paper, we develop a partial identification framework in which sharp bounds on the estimand are obtained by solving a pair of linear programs whose constraints encode the observed data structure. This formulation naturally incorporates outcome predictions from pretrained models, including large language models (LLMs), as additional linear constraints that tighten the feasible set. We call these predictions weak shadow variables: they satisfy a conditional independence assumption with respect to missingness but need not meet the completeness conditions required by classical shadow-variable methods. When predictions are sufficiently informative, the bounds collapse to a point, recovering standard identification as a special case. In finite samples, to provide valid coverage of the identified set, we propose a set-expansion estimator that achieves slower-than-$\sqrt{n}$ convergence rate in the set-identified regime and the standard $\sqrt{n}$ rate under point identification. In simulations and semi-synthetic experiments on customer-service dialogues, we find that LLM predictions are often ill-conditioned for classical shadow-variable methods yet remain highly effective in our framework. They shrink identification intervals by 75--83\% while maintaining valid coverage under realistic MNAR mechanisms.


翻译:从用户反馈中估计总体量(如平均结果)是平台评估和社会科学的基础,然而反馈数据往往并非随机缺失(MNAR):观点更强烈的用户更可能作出回应,导致标准估计量存在偏差,且在没有额外假设时待估参数不可识别。现有方法通常依赖强参数假设或定制化的辅助变量,这些在实践中可能难以获取。本文提出一种部分识别框架,通过求解一对线性规划问题获得待估参数的尖锐边界,其约束条件编码了观测数据结构。该框架自然地将预训练模型(包括大语言模型)的预测结果作为额外的线性约束纳入,从而收紧可行集。我们将这些预测称为弱影子变量:它们满足关于缺失机制的独立性假设,但无需满足经典影子变量方法所要求的完备性条件。当预测信息足够充分时,边界将收缩为单点,此时经典识别成为特例。在有限样本中,为保障对识别集的有效覆盖,我们提出一种集合扩张估计量,该估计量在集合识别机制下达到慢于$\sqrt{n}$的收敛速率,而在点识别机制下保持标准$\sqrt{n}$速率。在客户服务对话的模拟与半合成实验中,我们发现LLM预测虽常不满足经典影子变量方法的适用条件,但在本框架中仍高度有效:在现实MNAR机制下,它们能将识别区间缩小75-83%,同时保持有效覆盖。

0
下载
关闭预览

相关内容

《在国家冲突建模中理解区域变量的分层聚类方法》
专知会员服务
20+阅读 · 2024年8月13日
针对预训练视觉模型的参数高效微调
专知会员服务
22+阅读 · 2024年2月7日
【CMU博士论文】分布偏移下的不确定性量化,226页pdf
专知会员服务
31+阅读 · 2023年9月30日
【AAAI2022】通过自训练加强反事实分类
专知会员服务
25+阅读 · 2021年12月10日
专知会员服务
26+阅读 · 2021年7月17日
使用 Bert 预训练模型文本分类(内附源码)
数据库开发
102+阅读 · 2019年3月12日
【知识图谱】基于知识图谱的用户画像技术
产业智能官
103+阅读 · 2019年1月9日
数据分析师应该知道的16种回归技术:分位数回归
数萃大数据
29+阅读 · 2018年8月8日
深度学习在CTR预估中的应用 | CTR深度模型大盘点
PaperWeekly
15+阅读 · 2018年4月11日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员