Out-of-distribution (OOD) generalization remains challenging when models simultaneously encounter correlation shifts across environments and diversity shifts driven by rare or hard samples. Existing invariant risk minimization (IRM) methods primarily address spurious correlations at the environment level, but often overlook sample-level heterogeneity within environments, which can critically impact OOD performance. In this work, we propose Environment-Conditioned Tail Reweighting for Total Variation Invariant Risk Minimization (ECTR), a unified framework that augments TV-based invariant learning with environment-conditioned tail reweighting to jointly address both types of distribution shift. By integrating environment-level invariance with within-environment robustness, the proposed approach makes these two mechanisms complementary under mixed distribution shifts. We further extend the framework to scenarios without explicit environment annotations by inferring latent environments through a minimax formulation. Experiments across regression, tabular, time-series, and image classification benchmarks under mixed distribution shifts demonstrate consistent improvements in both worst-environment and average OOD performance.


翻译:当模型同时面临跨环境的相关性偏移以及由罕见或困难样本驱动的多样性偏移时,分布外泛化仍然具有挑战性。现有的不变风险最小化方法主要解决环境层面的虚假相关性,但常常忽视环境内部的样本级异质性,而这可能对分布外性能产生关键影响。本文提出环境条件尾部重加权用于全变差不变风险最小化,这是一个统一框架,通过环境条件尾部重加权增强基于全变差的不变学习,以共同应对两种类型的分布偏移。通过将环境级不变性与环境内鲁棒性相结合,所提出的方法使得这两种机制在混合分布偏移下互为补充。我们进一步将该框架扩展到没有显式环境标注的场景,通过极小极大公式推断潜在环境。在混合分布偏移下,跨越回归、表格数据、时间序列和图像分类基准的实验表明,该方法在最差环境和平均分布外性能上均取得了一致的改进。

0
下载
关闭预览

相关内容

多样化偏好优化
专知会员服务
12+阅读 · 2025年2月3日
《分布外泛化评估》综述
专知会员服务
43+阅读 · 2024年3月6日
专知会员服务
16+阅读 · 2021年5月21日
专知会员服务
24+阅读 · 2021年1月30日
多因素问题分析时,如何确立各因素权重?
人人都是产品经理
75+阅读 · 2020年3月4日
异常检测的阈值,你怎么选?给你整理好了...
机器学习算法与Python学习
10+阅读 · 2018年9月19日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员