We study a solvable high-dimensional model of generative adversarial network (GAN) training in which a linear generator learns a low-dimensional subspace from data with structured latent covariance. Prior solvable GAN analyses assume unconditional signals with diagonal latent covariance; we extend the multi-feature discriminator setting to class-dependent, correlated, and non-zero-mean latent structure. For the quadratic energy discriminator, all such heterogeneity enters the dynamics through a probability-weighted effective second moment. We prove that the stochastic microscopic training process converges, in the high-dimensional limit, to deterministic ordinary differential equations governed by this effective covariance. In the matched-covariance specialization, the stability analysis yields a mode-wise solvable interval determined by the learning rates and noise level: learning begins when the leading effective eigenvalue crosses the lower threshold, while full recovery requires all relevant effective modes to remain within the interval. This reveals a signal-boosting mechanism: low-rank correlations can lift weak directions above the learnability threshold, whereas overly strong correlations destabilize recovery. Numerical simulations validate the ODE, phase boundary, and boosting mechanism. Experiments on MNIST, FashionMNIST, and CIFAR-10 further show that informed generator covariance improves alignment with the data-driven reference subspace.


翻译:暂无翻译

0
下载
关闭预览

相关内容

【NeurIPS2022】隐空间变换解决GAN生成分布的非连续性问题
专知会员服务
26+阅读 · 2022年11月30日
【论文】结构GANs,Structured GANs,
专知会员服务
15+阅读 · 2020年1月16日
GANs最新综述论文: 生成式对抗网络及其变种如何有用
专知会员服务
72+阅读 · 2019年10月19日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
209+阅读 · 2019年9月30日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
【学界】GANs最新综述论文: 生成式对抗网络及其变种如何有用
GAN生成式对抗网络
30+阅读 · 2019年1月5日
一文读懂生成对抗网络GANs(附学习资源)
数据派THU
10+阅读 · 2018年2月9日
【GAN】生成式对抗网络GAN的研究进展与展望
产业智能官
12+阅读 · 2017年8月31日
IJCAI | Cascade Dynamics Modeling with Attention-based RNN
KingsGarden
13+阅读 · 2017年7月16日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
Arxiv
0+阅读 · 8月31日
Arxiv
10+阅读 · 2021年12月9日
VIP会员
最新内容
分层反无人机系统发展新趋势
专知会员服务
8+阅读 · 9月3日
何为协作武器?
专知会员服务
10+阅读 · 9月1日
《理解认知战:超越信息》
专知会员服务
14+阅读 · 9月1日
美国战争部在GenAI.mil上推出OpenAI的ChatGPT Mil
专知会员服务
10+阅读 · 8月31日
人工智能赋能军事维护:重新定义国防战备
专知会员服务
5+阅读 · 8月31日
相关VIP内容
【NeurIPS2022】隐空间变换解决GAN生成分布的非连续性问题
专知会员服务
26+阅读 · 2022年11月30日
【论文】结构GANs,Structured GANs,
专知会员服务
15+阅读 · 2020年1月16日
GANs最新综述论文: 生成式对抗网络及其变种如何有用
专知会员服务
72+阅读 · 2019年10月19日
GAN新书《生成式深度学习》,Generative Deep Learning,379页pdf
专知会员服务
209+阅读 · 2019年9月30日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员