In smart computing, the labels of training samples for a specific task are not always abundant. However, the labels of samples in a relevant but different dataset are available. As a result, researchers have relied on unsupervised domain adaptation to leverage the labels in a dataset (the source domain) to perform better classification in a different, unlabeled dataset (target domain). Existing non-generative adversarial solutions for UDA aim at achieving domain confusion through adversarial training. The ideal scenario is that perfect domain confusion is achieved, but this is not guaranteed to be true. To further enforce domain confusion on top of the adversarial training, we propose a novel UDA algorithm, \textit{E-ADDA}, which uses both a novel variation of the Mahalanobis distance loss and an out-of-distribution detection subroutine. The Mahalanobis distance loss minimizes the distribution-wise distance between the encoded target samples and the distribution of the source domain, thus enforcing additional domain confusion on top of adversarial training. Then, the OOD subroutine further eliminates samples on which the domain confusion is unsuccessful. We have performed extensive and comprehensive evaluations of E-ADDA in the acoustic and computer vision modalities. In the acoustic modality, E-ADDA outperforms several state-of-the-art UDA algorithms by up to 29.8%, measured in the f1 score. In the computer vision modality, the evaluation results suggest that we achieve new state-of-the-art performance on popular UDA benchmarks such as Office-31 and Office-Home, outperforming the second best-performing algorithms by up to 17.9%.


翻译:在智能计算中,特定任务的训练样本标签并不总是充足的。然而,相关但不同数据集中的样本标签却可获取。因此,研究人员依赖无监督域自适应来利用某一数据集(源域)中的标签,对另一个无标签但不同的数据集(目标域)实现更优的分类性能。现有用于无监督域自适应的非生成式对抗方法旨在通过对抗训练实现域混淆。理想情况下应达到完全域混淆,但这无法保证。为进一步强化对抗训练基础上的域混淆,我们提出了一种新型无监督域自适应算法E-ADDA,该算法同时采用新型的马氏距离损失变体和分布外检测子程序。马氏距离损失通过最小化编码后的目标样本分布与源域分布之间的度量距离,在对抗训练之上施加额外的域混淆约束。随后,OOD子程序进一步剔除域混淆失败的样本。我们在声学和计算机视觉模态上对E-ADDA进行了广泛而全面的评估。在声学模态中,E-ADDA的f1分数相比多个最先进的无监督域自适应算法最高提升29.8%。在计算机视觉模态中,评估结果表明我们在Office-31和Office-Home等流行无监督域自适应基准上取得了新的最佳性能,相比排名第二的算法最高提升17.9%。

0
下载
关闭预览

相关内容

马氏距离是P. C.马氏距离(P. C. Mahalanobis)在1936年提出的对点P和分布D之间距离的度量。它是一个多维的概念的泛化测量有多少个标准差以外P D的意思是这个距离是零的意思是如果P是D,并随着P远离意味着沿着每个主成分轴。如果每一个坐标轴都被缩放成单位方差,那么马氏距离对应于变换后空间中的标准欧氏距离。马氏距离因此是无单位和尺度不变的,并考虑到数据集的相关性。
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Adversarial Transfer Learning
Arxiv
12+阅读 · 2018年12月6日
VIP会员
最新内容
AgentOps综述:智能体系统运维框架
专知会员服务
12+阅读 · 6月4日
《美陆军最新条令:兵力防护》
专知会员服务
9+阅读 · 6月4日
《人工智能的挑战:算法战的想象与现实》
专知会员服务
11+阅读 · 6月4日
首场人工智能战争:Maven如何重塑武装冲突
专知会员服务
7+阅读 · 6月4日
《通往人工通用智能之路上的均衡策略》
专知会员服务
7+阅读 · 6月3日
《Palantir的科技生态系统》
专知会员服务
21+阅读 · 6月2日
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
深度自进化聚类:Deep Self-Evolution Clustering
我爱读PAMI
15+阅读 · 2019年4月13日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
1+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员