Generative Adversarial Networks (GANs), a popular generative model, have been widely applied in different scenarios thanks to the development of deep neural networks. The proposal of standard GAN is based upon the non-parametric assumption of the infinite capacity of networks. It is still unknown whether GANs can generate realistic samples without any prior. Due to excessive assumptions, many issues need to be addressed in GANs training, such as non-convergence, mode collapses, gradient disappearance, and the sensitivity of hyperparameters. As acknowledged, regularization and normalization are common methods of introducing prior information and can be used for stability training as well. At present, many regularization and normalization methods are proposed in GANs.In order to explain these methods in a systematic manner, this paper summarizes regularization and normalization methods used in GANs and classifies them into seven groups: Gradient penalty, Norm normalization and regularization, Jacobian regularization, Layer normalization, Consistency regularization, Data Augmentation, and Self-supervision. This paper presents the analysis of these methods and highlights the possible future studies in this area.


翻译:由于深神经网络的发展,在不同的情景中广泛应用了广受欢迎的基因模型(GANs),这是一种流行的基因模型;标准的GAN建议是基于网络无限能力的非参数假设;目前还不清楚GANs能否在不事先任何情况下产生现实的样本;由于过度的假设,许多问题需要在GANs培训中解决,如非趋同、模式崩溃、梯度消失和超光度计的敏感性;正如人们所承认的,正规化和正常化是引入先前信息的共同方法,也可以用于稳定培训;目前,许多正规化和正常化方法都是在GANs中提出的。 为了系统地解释这些方法,本文件总结了GANs采用的正规化和正常化方法,并将其分为七个组:重刑、Norm正常化和正规化、Jacobian正常化、层正常化、Consistance正规化、数据增强和自我监督。本文介绍了对这些方法的分析,并着重介绍了该领域今后可能进行的研究。

0
下载
关闭预览

相关内容

最新【深度生成模型】Deep Generative Models,104页ppt
专知会员服务
71+阅读 · 2020年10月24日
GANs最新进展,30页ppt,GANs: the story so far
专知会员服务
43+阅读 · 2020年8月2日
【Google】平滑对抗训练,Smooth Adversarial Training
专知会员服务
49+阅读 · 2020年7月4日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
2018 年最棒的三篇 GAN 论文
AI科技评论
4+阅读 · 2019年1月14日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Generative Adversarial Networks: A Survey and Taxonomy
Arxiv
8+阅读 · 2018年5月21日
Arxiv
4+阅读 · 2018年4月30日
Arxiv
11+阅读 · 2018年3月23日
Arxiv
5+阅读 · 2018年1月30日
VIP会员
最新内容
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
2+阅读 · 53分钟前
《压缩式分布式交互仿真标准》120页
专知会员服务
3+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
3+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
3+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
8+阅读 · 4月22日
电子战革命:塑造战场的十年突破(2015–2025)
人工智能即服务与未来战争(印度视角)
专知会员服务
5+阅读 · 4月22日
相关资讯
2018 年最棒的三篇 GAN 论文
AI科技评论
4+阅读 · 2019年1月14日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
Disentangled的假设的探讨
CreateAMind
9+阅读 · 2018年12月10日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
Adversarial Variational Bayes: Unifying VAE and GAN 代码
CreateAMind
7+阅读 · 2017年10月4日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员