The problem of domain generalization concerns learning predictive models that are robust to distribution shifts when deployed in new, previously unseen environments. Existing methods typically require labeled data from multiple training environments, limiting their applicability when labeled data are scarce. In this work, we study domain generalization in an anti-causal setting, where the outcome causes the observed covariates. Under this structure, environment perturbations that affect the covariates do not propagate to the outcome, which motivates regularizing the model's sensitivity to these perturbations. Crucially, estimating these perturbation directions does not require labels, enabling us to leverage unlabeled data from multiple environments. We propose two methods that penalize the model's sensitivity to variations in the mean and covariance of the covariates across environments, respectively, and prove that these methods have worst-case optimality guarantees under certain classes of environments. Finally, we demonstrate the empirical performance of our approach on a controlled physical system and a physiological signal dataset.


翻译:域泛化问题关注于学习在部署到新的、先前未见环境中时对分布偏移具有鲁棒性的预测模型。现有方法通常需要来自多个训练环境的标记数据,这在标记数据稀缺时限制了其适用性。在本工作中,我们研究反因果设定下的域泛化问题,其中结果变量导致观测到的协变量。在此结构下,影响协变量的环境扰动不会传播到结果变量,这促使我们对模型对这些扰动的敏感性进行正则化。关键的是,估计这些扰动方向不需要标签,使我们能够利用来自多个环境的未标记数据。我们提出了两种方法,分别惩罚模型对跨环境中协变量均值和协方差变化的敏感性,并证明这些方法在特定环境类别下具有最坏情况最优性保证。最后,我们在一个受控物理系统和一个生理信号数据集上展示了我们方法的实证性能。

0
下载
关闭预览

相关内容

【KDD2023】对领域泛化的异质性进行定量度量和对比分析
专知会员服务
24+阅读 · 2023年5月29日
专知会员服务
26+阅读 · 2021年10月20日
专知会员服务
42+阅读 · 2021年8月12日
专知会员服务
26+阅读 · 2021年5月23日
【CVPR2021】现实世界域泛化的自适应方法
专知会员服务
58+阅读 · 2021年3月31日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
用深度学习揭示数据的因果关系
专知
28+阅读 · 2019年5月18日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
VIP会员
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
26+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员