A methodology is developed to extract $d$ invariant features $W=f(X)$ that predict a response variable $Y$ without being confounded by variables $Z$ that may influence both $X$ and $Y$. The methodology's main ingredient is the penalization of any statistical dependence between $W$ and $Z$ conditioned on $Y$, replaced by the more readily implementable plain independence between $W$ and the random variable $Z_Y = T(Z,Y)$ that solves the [Monge] Optimal Transport Barycenter Problem for $Z\mid Y$. In the Gaussian case considered in this article, the two statements are equivalent. When the true confounders $Z$ are unknown, other measurable contextual variables $S$ can be used as surrogates, a replacement that involves no relaxation in the Gaussian case if the covariance matrix $Σ_{ZS}$ has full range. The resulting linear feature extractor adopts a closed form in terms of the first $d$ eigenvectors of a known matrix. The procedure extends with little change to more general, non-Gaussian / non-linear cases.


翻译:本文提出一种方法,用于提取$d$个不变特征$W=f(X)$,这些特征可预测响应变量$Y$,同时避免受同时影响$X$和$Y$的混淆变量$Z$的干扰。该方法的核心在于对$W$与$Y$条件下$Z$之间任何统计依赖性的惩罚,并以更易实现的$W$与随机变量$Z_Y = T(Z,Y)$之间的独立性替代——其中$Z_Y$通过求解$Z\mid Y$的[蒙日]最优传输重心问题获得。在高斯情形下(本文所考虑的设定),上述两个表述是等价的。当真实混淆变量$Z$未知时,可借助其他可测量上下文变量$S$作为替代变量;若协方差矩阵$\Sigma_{ZS}$满秩,高斯特例中这一替代不会带来任何松弛。最终得到的线性特征提取器以已知矩阵的前$d$个特征向量闭式表达。该过程可稍作推广至更一般的非高斯/非线性情形。

0
下载
关闭预览

相关内容

自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
【干货合集】一文读懂特征工程
七月在线实验室
13+阅读 · 2018年8月2日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
特征工程的特征理解(一)
机器学习研究会
10+阅读 · 2017年10月23日
xgboost特征选择
数据挖掘入门与实战
39+阅读 · 2017年10月5日
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关主题
最新内容
边缘计算的军事应用
专知会员服务
5+阅读 · 8月9日
一种考虑资源机动性的武器目标分配混合算法
专知会员服务
8+阅读 · 8月8日
《多域冲突比较支持模型》60页
专知会员服务
13+阅读 · 8月7日
相关VIP内容
自动结构变分推理,Automatic structured variational inference
专知会员服务
41+阅读 · 2020年2月10日
相关资讯
【干货合集】一文读懂特征工程
七月在线实验室
13+阅读 · 2018年8月2日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
特征工程的特征理解(一)
机器学习研究会
10+阅读 · 2017年10月23日
xgboost特征选择
数据挖掘入门与实战
39+阅读 · 2017年10月5日
相关基金
国家自然科学基金
5+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员