Heterogeneous unsupervised domain adaptation (HUDA) is the most challenging domain adaptation setting where the feature space differs between source and target domains, and the target domain has only unlabeled data. Existing HUDA methods assume that both positive and negative examples are available in the source domain, which may not be satisfied in some real applications. This paper addresses a new challenging setting called positive and unlabeled heterogeneous domain adaptation (PU-HDA), a HUDA setting where the source domain only has positives. PU-HDA can also be viewed as an extension of PU learning where the positive and unlabeled examples are sampled from different domains. A naive combination of existing HUDA and PU learning methods is ineffective in PU-HDA due to the gap in label distribution between the source and target domains. To overcome this issue, we propose a novel method, positive-adversarial domain adaptation (PADA), which can predict likely positive examples from the unlabeled target data and simultaneously align the feature spaces to reduce the distribution divergence between the whole source data and the likely positive target data. PADA achieves this by a unified adversarial training framework for learning a classifier to predict positive examples and a feature transformer to transform the target feature space to that of the source. Specifically, they are both trained to fool a common discriminator that determines whether the likely positive examples are from the target or source domain. We experimentally show that PADA outperforms several baseline methods, such as the naive combination of HUDA and PU learning.


翻译:摘要:异构无监督域自适应(HUDA)是最具挑战性的域自适应设置,其中源域和目标域的特征空间不同,且目标域仅包含无标签数据。现有HUDA方法假设源域中同时存在正类和负类样本,但在某些实际应用中该条件可能无法满足。本文提出了一种称为正类与无标签异构域自适应(PU-HDA)的新型挑战性设置,该设置下源域仅包含正类样本。PU-HDA可视为PU学习的扩展,其中正类和无标签样本来自不同域。由于源域与目标域之间的标签分布差异,现有HUDA与PU学习方法的简单组合在PU-HDA中效果不佳。为解决此问题,我们提出了一种新方法——正类对抗域自适应(PADA),该方法能从无标签目标数据中预测可能正类样本,同时对齐特征空间以减小整个源数据与可能正类目标数据之间的分布差异。PADA通过统一对抗训练框架实现:学习一个分类器用于预测正类样本,同时训练一个特征变换器将目标特征空间映射至源特征空间。具体而言,两者均被训练以欺骗一个共同的判别器,该判别器用于判断可能正类样本来自目标域还是源域。实验表明,PADA在多种基线方法(如HUDA与PU学习的简单组合)上均表现更优。

0
下载
关闭预览

相关内容

【AAAI2023】少样本无监督域适应中的高层语义特征
专知会员服务
16+阅读 · 2023年1月8日
从ICML 2022看域泛化(Domain Generalization)最新进展
浅聊对比学习(Contrastive Learning)第一弹
PaperWeekly
1+阅读 · 2022年6月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
31+阅读 · 2020年9月21日
Domain Representation for Knowledge Graph Embedding
Arxiv
14+阅读 · 2019年9月11日
Transfer Adaptation Learning: A Decade Survey
Arxiv
37+阅读 · 2019年3月12日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
8+阅读 · 6月15日
相关VIP内容
【AAAI2023】少样本无监督域适应中的高层语义特征
专知会员服务
16+阅读 · 2023年1月8日
相关资讯
从ICML 2022看域泛化(Domain Generalization)最新进展
浅聊对比学习(Contrastive Learning)第一弹
PaperWeekly
1+阅读 · 2022年6月10日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员