Universal domain adaptation (UniDA) aims to transfer the knowledge from a labeled source domain to an unlabeled target domain without any assumptions of the label sets, which requires distinguishing the unknown samples from the known ones in the target domain. A main challenge of UniDA is that the nonidentical label sets cause the misalignment between the two domains. Moreover, the domain discrepancy and the supervised objectives in the source domain easily lead the whole model to be biased towards the common classes and produce overconfident predictions for unknown samples. To address the above challenging problems, we propose a new uncertainty-guided UniDA framework. Firstly, we introduce an empirical estimation of the probability of a target sample belonging to the unknown class which fully exploits the distribution of the target samples in the latent space. Then, based on the estimation, we propose a novel neighbors searching scheme in a linear subspace with a $\delta$-filter to estimate the uncertainty score of a target sample and discover unknown samples. It fully utilizes the relationship between a target sample and its neighbors in the source domain to avoid the influence of domain misalignment. Secondly, this paper well balances the confidences of predictions for both known and unknown samples through an uncertainty-guided margin loss based on the confidences of discovered unknown samples, which can reduce the gap between the intra-class variances of known classes with respect to the unknown class. Finally, experiments on three public datasets demonstrate that our method significantly outperforms existing state-of-the-art methods.


翻译:摘要:通用域适应(UniDA)旨在将知识从带标签的源域迁移至无标签的目标域,且无需对标签集作任何假设,这要求能区分目标域中的已知样本与未知样本。UniDA的主要挑战在于标签集的不一致性导致两域之间的错位。此外,源域中的域差异与监督目标易使整体模型偏向于公共类别,并对未知样本产生过度自信的预测。为解决上述难题,我们提出了一种新型的不确定性引导UniDA框架。首先,我们引入对目标样本属于未知类别概率的经验估计,该估计充分利用了目标样本在潜在空间中的分布。其次,基于该估计,我们提出了一种在具有$\delta$滤波器的线性子空间中的新颖邻域搜索方案,以估计目标样本的不确定性得分并发现未知样本。该方法充分利用目标样本与源域中邻域样本的关联性,从而避免域错位的影响。第三,本文通过基于已发现未知样本置信度的不确定性引导边界损失,平衡了已知与未知样本预测的置信度,从而缩小已知类别相对于未知类别类内方差之间的差距。最后,在三个公开数据集上的实验表明,我们的方法显著优于现有最优方法。

0
下载
关闭预览

相关内容

【NeurIPS2021】任务导向的无监督域自适应
专知会员服务
17+阅读 · 2021年11月20日
专知会员服务
30+阅读 · 2021年5月6日
专知会员服务
42+阅读 · 2020年12月1日
从ICML 2022看域泛化(Domain Generalization)最新进展
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
13+阅读 · 2022年1月20日
Multi-Domain Multi-Task Rehearsal for Lifelong Learning
Arxiv
12+阅读 · 2020年12月14日
Arxiv
12+阅读 · 2019年2月26日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关资讯
相关基金
国家自然科学基金
47+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
3+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员