We formulate the training of generative adversarial networks (GANs) as a Nash equilibrium seeking problem. To stabilize the training process and find a Nash equilibrium, we propose an asymmetric regularization mechanism based on the classic Tikhonov step and on a novel zero-centered gradient penalty. Under smoothness and a local identifiability condition induced by a Gauss-Newton Gramian, we obtain explicit Lipschitz and (strong)-monotonicity constants for the regularized operator. These constants ensure last-iterate linear convergence of a single-call Extrapolation-from-the-Past (EFTP) method. Empirical simulations on an academic example show that, even when strong monotonicity cannot be achieved, the asymmetric regularization is enough to converge to an equilibrium and stabilize the trajectory.


翻译:本文将生成对抗网络(GAN)的训练问题表述为纳什均衡求解问题。为稳定训练过程并找到纳什均衡,我们提出一种基于经典吉洪诺夫步长与新型零中心梯度惩罚的非对称正则化机制。在由高斯-牛顿格拉姆矩阵诱导的光滑性及局部可辨识性条件下,我们推导出正则化算子的显式利普希茨常数与(强)单调性常数。这些常数保证了单次调用"过去外推法"(EFTP)具有末点线性收敛性。在学术算例上的实证模拟表明,即使无法达成强单调性条件,非对称正则化机制仍足以收敛至均衡点并稳定训练轨迹。

0
下载
关闭预览

相关内容

在数学,统计学和计算机科学中,尤其是在机器学习和逆问题中,正则化是添加信息以解决不适定问题或防止过度拟合的过程。 正则化适用于不适定的优化问题中的目标函数。
专知会员服务
96+阅读 · 2021年2月6日
生成对抗网络GAN的发展与最新应用
专知会员服务
127+阅读 · 2020年8月13日
专知会员服务
109+阅读 · 2020年5月21日
【综述】生成式对抗网络GAN最新进展综述
专知
61+阅读 · 2019年6月5日
最新《生成式对抗网络GAN进展》论文
专知
95+阅读 · 2019年4月5日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
【GAN】生成式对抗网络GAN的研究进展与展望
产业智能官
12+阅读 · 2017年8月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2月12日
VIP会员
最新内容
【NTU博士论文】3D人体动作生成
专知会员服务
1+阅读 · 今天14:48
以色列军事技术对美国军力发展的持续性赋能
专知会员服务
7+阅读 · 今天8:46
《深度强化学习在兵棋推演中的应用》40页报告
专知会员服务
9+阅读 · 今天5:37
《多域作战面临复杂现实》
专知会员服务
7+阅读 · 今天5:35
《印度的多域作战:条令与能力发展》报告
专知会员服务
3+阅读 · 今天5:24
相关VIP内容
专知会员服务
96+阅读 · 2021年2月6日
生成对抗网络GAN的发展与最新应用
专知会员服务
127+阅读 · 2020年8月13日
专知会员服务
109+阅读 · 2020年5月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员