Imbalanced Domain Generalization (IDG) focuses on mitigating both domain and label shifts, both of which fundamentally shape the model's decision boundaries, particularly under heterogeneous long-tailed distributions across domains. Despite its practical significance, it remains underexplored, primarily due to the technical complexity of handling their entanglement and the paucity of theoretical foundations. In this paper, we begin by theoretically establishing the generalization bound for IDG, highlighting the role of posterior discrepancy and decision margin. This bound motivates us to focus on directly steering decision boundaries, marking a clear departure from existing methods. Subsequently, we technically propose a novel Negative-Dominant Contrastive Learning (NDCL) for IDG to enhance discriminability while enforce posterior consistency across domains. Specifically, inter-class decision-boundary separation is enhanced by placing greater emphasis on negatives as the primary signal in our contrastive learning, naturally amplifying gradient signals for minority classes to avoid the decision boundary being biased toward majority classes. Meanwhile, intra-class compactness is encouraged through a re-weighted cross-entropy strategy, and posterior consistency across domains is enforced through a prediction-central alignment strategy. Finally, rigorous yet challenging experiments on benchmarks validate the effectiveness of our NDCL. The code is available at https://github.com/Alrash/NDCL.


翻译:不平衡领域泛化(IDG)旨在同时缓解领域偏移和标签偏移,这两者从根本上塑造了模型的决策边界,尤其是在跨领域的异构长尾分布下。尽管其具有重要的实际意义,但由于处理两者纠缠的技术复杂性以及理论基础的匮乏,该问题仍未得到充分探索。本文首先从理论上建立了IDG的泛化界,强调了后验差异和决策边界的作用。该泛化界促使我们专注于直接引导决策边界,这与现有方法形成了明显区别。随后,我们在技术上提出了一种新颖的负样本主导对比学习(NDCL)方法用于IDG,以增强判别性,同时强制跨领域的后验一致性。具体而言,通过在我们的对比学习中更加强调负样本作为主要信号,增强了类间决策边界的分离,自然地放大了少数类别的梯度信号,以避免决策边界偏向多数类别。同时,通过重新加权的交叉熵策略鼓励类内紧凑性,并通过预测中心对齐策略强制跨领域的后验一致性。最后,在基准测试上进行的严格且具有挑战性的实验验证了我们NDCL方法的有效性。代码可在 https://github.com/Alrash/NDCL 获取。

0
下载
关闭预览

相关内容

不平衡数据学习的全面综述
专知会员服务
44+阅读 · 2025年2月15日
【KDD2023】对领域泛化的异质性进行定量度量和对比分析
专知会员服务
24+阅读 · 2023年5月29日
【AAAI 2022】一致性信息瓶颈在域泛化中的应用
专知会员服务
26+阅读 · 2022年1月15日
专知会员服务
26+阅读 · 2021年10月20日
专知会员服务
42+阅读 · 2021年8月12日
专知会员服务
26+阅读 · 2021年5月23日
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
小样本学习(Few-shot Learning)综述
云栖社区
22+阅读 · 2019年4月6日
迁移自适应学习最新综述,附21页论文下载
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
美陆军设想无人系统司令部
专知会员服务
0+阅读 · 今天13:45
【博士论文】已对齐人工智能系统的持久脆弱性
专知会员服务
0+阅读 · 今天13:52
扭曲还是编造?视频大语言模型幻觉研究综述
专知会员服务
0+阅读 · 今天13:41
《采用系统思维应对混合战争》125页
专知会员服务
0+阅读 · 今天12:47
战争机器学习:数据生态系统构建(155页)
专知会员服务
6+阅读 · 今天8:10
内省扩散语言模型
专知会员服务
5+阅读 · 4月14日
国外反无人机系统与技术动态
专知会员服务
3+阅读 · 4月14日
相关VIP内容
不平衡数据学习的全面综述
专知会员服务
44+阅读 · 2025年2月15日
【KDD2023】对领域泛化的异质性进行定量度量和对比分析
专知会员服务
24+阅读 · 2023年5月29日
【AAAI 2022】一致性信息瓶颈在域泛化中的应用
专知会员服务
26+阅读 · 2022年1月15日
专知会员服务
26+阅读 · 2021年10月20日
专知会员服务
42+阅读 · 2021年8月12日
专知会员服务
26+阅读 · 2021年5月23日
相关资讯
【ICML2021】因果匹配领域泛化
专知
12+阅读 · 2021年8月12日
【MIT】硬负样本的对比学习
专知
13+阅读 · 2020年10月15日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
非平衡数据集 focal loss 多类分类
AI研习社
33+阅读 · 2019年4月23日
小样本学习(Few-shot Learning)综述
云栖社区
22+阅读 · 2019年4月6日
迁移自适应学习最新综述,附21页论文下载
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
16+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员