Due to the outstanding capability for data generation, Generative Adversarial Networks (GANs) have attracted considerable attention in unsupervised learning. However, training GANs is difficult, since the training distribution is dynamic for the discriminator, leading to unstable image representation. In this paper, we address the problem of training GANs from a novel perspective, \emph{i.e.,} robust image classification. Motivated by studies on robust image representation, we propose a simple yet effective module, namely AdaptiveMix, for GANs, which shrinks the regions of training data in the image representation space of the discriminator. Considering it is intractable to directly bound feature space, we propose to construct hard samples and narrow down the feature distance between hard and easy samples. The hard samples are constructed by mixing a pair of training images. We evaluate the effectiveness of our AdaptiveMix with widely-used and state-of-the-art GAN architectures. The evaluation results demonstrate that our AdaptiveMix can facilitate the training of GANs and effectively improve the image quality of generated samples. We also show that our AdaptiveMix can be further applied to image classification and Out-Of-Distribution (OOD) detection tasks, by equipping it with state-of-the-art methods. Extensive experiments on seven publicly available datasets show that our method effectively boosts the performance of baselines. The code is publicly available at https://github.com/WentianZhang-ML/AdaptiveMix.


翻译:鉴于生成对抗网络(GANs)在数据生成方面的卓越能力,其在无监督学习领域引起了广泛关注。然而,由于判别器的训练分布具有动态性,导致图像表示不稳定,使得GANs的训练较为困难。本文从一个新颖的视角——即鲁棒图像分类——来解决GANs的训练问题。受鲁棒图像表示研究的启发,我们提出了一个简单而有效的模块,称为AdaptiveMix,用于GANs。该模块通过收缩判别器图像表示空间中训练数据的区域。考虑到直接约束特征空间难以实现,我们提出了构建困难样本并缩小困难样本与易样本之间的特征距离的方法。通过混合一对训练图像来构建困难样本。我们使用广泛使用的先进GAN架构评估了AdaptiveMix的有效性。评估结果表明,我们的AdaptiveMix能够促进GANs的训练,并有效提升生成样本的图像质量。我们进一步展示了AdaptiveMix可以通过结合最先进的方法应用于图像分类和分布外(OOD)检测任务。在七个公开数据集上的大量实验表明,我们的方法有效提升了基线方法的性能。代码开源在:https://github.com/WentianZhang-ML/AdaptiveMix。

0
下载
关闭预览

相关内容

【AAAI2022】对偶对比学习在人脸伪造检测中的应用
专知会员服务
23+阅读 · 2022年1月9日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
无监督元学习表示学习
CreateAMind
27+阅读 · 2019年1月4日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年5月25日
Arxiv
13+阅读 · 2019年11月14日
Feature Denoising for Improving Adversarial Robustness
Arxiv
15+阅读 · 2018年12月9日
VIP会员
最新内容
认知战:定义与能力发展
专知会员服务
0+阅读 · 今天9:25
乌军利用美国“黄蜂”无人机摧毁俄军后勤
专知会员服务
5+阅读 · 6月7日
《支持作战级人机协同智能的交互式OODA流程》
专知会员服务
14+阅读 · 6月7日
ICML 2026 | SARDI:扩散语言模型的自增强检索
专知会员服务
8+阅读 · 6月6日
相关VIP内容
【AAAI2022】对偶对比学习在人脸伪造检测中的应用
专知会员服务
23+阅读 · 2022年1月9日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
相关基金
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员