All models may be wrong -- but that is not necessarily a problem for inference. Consider the standard $t$-test for the significance of a variable $X$ for predicting response $Y$ whilst controlling for $p$ other covariates $Z$ in a random design linear model. This yields correct asymptotic type~I error control for the null hypothesis that $X$ is conditionally independent of $Y$ given $Z$ under an \emph{arbitrary} regression model of $Y$ on $(X, Z)$, provided that a linear regression model for $X$ on $Z$ holds. An analogous robustness to misspecification, which we term the "double-estimation-friendly" (DEF) property, also holds for Wald tests in generalised linear models, with some small modifications. In this expository paper we explore this phenomenon, and propose methodology for high-dimensional regression settings that respects the DEF property. We advocate specifying (sparse) generalised linear regression models for both $Y$ and the covariate of interest $X$; our framework gives valid inference for the conditional independence null if either of these hold. In the special case where both specifications are linear, our proposal amounts to a small modification of the popular debiased Lasso test. We also investigate constructing confidence intervals for the regression coefficient of $X$ via inverting our tests; these have coverage guarantees even in partially linear models where the contribution of $Z$ to $Y$ can be arbitrary. Numerical experiments demonstrate the effectiveness of the methodology.


翻译:所有的模型都可能是错的, 但这并不一定是错的。 考虑标准 $ 美元 测试 标准 美元 测试 用于 预测 响应 $Y 美元, 而 控制 $ 美元 其他 美元 共 美元 在随机设计线性模型中 。 这产生正确的零点测试 ~ I 错误控制, 无效假设 美元在条件上独立于 $Z 在 emmph{ a Experial} 回归模型下给 $( X, Z) 美元 的美元 。 如果 美元 美元 和 美元 美元 的 美元 美元 的 线性回归模型存在 。 类似的任意性测试 类似, 我们称之为 “ 双度估算- 友好” ( Def) 属性 的错误 。 这还包含一般线性测试 线性模型, 并且稍稍作修改。 在此推论中, 美元 美元 为 美元 美元 的 普通 回归 模式 模式 和 美元 的 美元 等 ; 我们的框架 以 直线性 标准 度 标准 标准 测试, 也可以 以 以 的 的 表示 的 。

0
下载
关闭预览

相关内容

因果推断,Causal Inference:The Mixtape
专知会员服务
110+阅读 · 2021年8月27日
专知会员服务
52+阅读 · 2020年12月14日
因果图,Causal Graphs,52页ppt
专知会员服务
254+阅读 · 2020年4月19日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
已删除
将门创投
4+阅读 · 2018年11月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Arxiv
0+阅读 · 2021年11月10日
Arxiv
3+阅读 · 2017年12月14日
VIP会员
最新内容
ICML 2026 | SARDI:扩散语言模型的自增强检索
专知会员服务
4+阅读 · 6月6日
《国防领域安全采用大语言模型的战略蓝图》
专知会员服务
7+阅读 · 6月6日
ICML 2026 | 演化选择的因果建模
专知会员服务
7+阅读 · 6月5日
综述|学习式3D表征最新进展与趋势
专知会员服务
7+阅读 · 6月5日
人工智能重塑威慑:算法优势的兴起
专知会员服务
7+阅读 · 6月5日
AgentOps综述:智能体系统运维框架
专知会员服务
17+阅读 · 6月4日
《美陆军最新条令:兵力防护》
专知会员服务
14+阅读 · 6月4日
相关资讯
已删除
将门创投
4+阅读 · 2018年11月6日
Hierarchical Disentangled Representations
CreateAMind
4+阅读 · 2018年4月15日
Top
微信扫码咨询专知VIP会员