Generative adversarial networks (GANs) are powerful tools for learning generative models. In practice, the training may suffer from lack of convergence. GANs are commonly viewed as a two-player zero-sum game between two neural networks. Here, we leverage this game theoretic view to study the convergence behavior of the training process. Inspired by the fictitious play learning process, a novel training method, referred to as Fictitious GAN, is introduced. Fictitious GAN trains the deep neural networks using a mixture of historical models. Specifically, the discriminator (resp. generator) is updated according to the best-response to the mixture outputs from a sequence of previously trained generators (resp. discriminators). It is shown that Fictitious GAN can effectively resolve some convergence issues that cannot be resolved by the standard training approach. It is proved that asymptotically the average of the generator outputs has the same distribution as the data samples.


翻译:产生对抗性网络(GANs)是学习基因模型的有力工具,在实践中,培训可能缺乏趋同性。GANs通常被视为两个神经网络之间的双玩零和游戏。在这里,我们利用这个游戏理论视角研究培训过程的趋同行为。在虚构的游戏学习过程的启发下,引入了一种称为Fictititious GAN的新型培训方法。Fictititious GAN利用各种历史模型混合对深层神经网络进行培训。具体来说,歧视者(再生发电机)是根据以前训练的发电机序列(再生导体)对混合输出的最佳反应来更新的。这表明,Fictititious GAN可以有效地解决一些无法通过标准培训方法解决的趋同性问题。事实证明,发电机产出的平均值与数据样本一样,具有同样的分布。

4
下载
关闭预览

相关内容

最新《生成式对抗网络》简介,25页ppt
专知会员服务
176+阅读 · 2020年6月28日
专知会员服务
63+阅读 · 2020年3月4日
【干货51页PPT】深度学习理论理解探索
专知会员服务
67+阅读 · 2019年12月24日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
生成对抗网络GANs学习路线
专知
37+阅读 · 2019年6月10日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
纯干货18 - 2016-2017深度学习-最新-必读-经典论文
深度学习与NLP
6+阅读 · 2017年12月23日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Arxiv
11+阅读 · 2018年3月23日
VIP会员
最新内容
《无人机革命:来自俄乌战场的启示》(报告)
专知会员服务
3+阅读 · 今天6:48
《实现联合作战能力所需的技术》58页报告
专知会员服务
1+阅读 · 今天6:30
以色列运用人工智能优化空袭警报系统
专知会员服务
0+阅读 · 今天6:20
以色列在多条战线部署AI智能体
专知会员服务
1+阅读 · 今天6:12
2025年大语言模型进展报告
专知会员服务
13+阅读 · 4月25日
多智能体协作机制
专知会员服务
12+阅读 · 4月25日
非对称优势:美海军开发低成本反无人机技术
专知会员服务
9+阅读 · 4月25日
《美战争部小企业创新研究(SBIR)计划》
专知会员服务
8+阅读 · 4月25日
相关VIP内容
最新《生成式对抗网络》简介,25页ppt
专知会员服务
176+阅读 · 2020年6月28日
专知会员服务
63+阅读 · 2020年3月4日
【干货51页PPT】深度学习理论理解探索
专知会员服务
67+阅读 · 2019年12月24日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
相关资讯
生成对抗网络GANs学习路线
专知
37+阅读 · 2019年6月10日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
纯干货18 - 2016-2017深度学习-最新-必读-经典论文
深度学习与NLP
6+阅读 · 2017年12月23日
gan生成图像at 1024² 的 代码 论文
CreateAMind
4+阅读 · 2017年10月31日
【推荐】GAN架构入门综述(资源汇总)
机器学习研究会
10+阅读 · 2017年9月3日
Auto-Encoding GAN
CreateAMind
7+阅读 · 2017年8月4日
Top
微信扫码咨询专知VIP会员