生成式对抗网络(GANs)近年来取得了显著的进展,但模型规模的不断扩大使其难以在实际应用中广泛应用。特别是对于实时任务,由于不同的计算能力,不同的设备需要不同大小的模型。在本文中,我们引入了“可瘦身”的GANs (slimmable GANs),它可以在运行时灵活地切换生成器的宽度(层的通道)以适应各种质量和效率的权衡。具体地说,我们利用多个部分参数共享判别器来训练“可瘦身”的生成器。为了促进不同宽度的生成器之间的一致性,我们提出了一种逐步替代蒸馏技术,鼓励窄的生成器向宽的生成器学习。至于类条件生成,我们提出了一种可分割的条件批处理规范化,它将标签信息合并到不同的宽度中。我们的方法通过大量的实验和详细的消融研究得到了定量和定性的验证。

https://arxiv.org/abs/2012.05660

成为VIP会员查看完整内容
13

相关内容

【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
51+阅读 · 2021年2月7日
专知会员服务
26+阅读 · 2021年1月21日
最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
40+阅读 · 2021年1月19日
【AAAI2021】记忆门控循环网络
专知会员服务
50+阅读 · 2020年12月28日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
36+阅读 · 2020年9月2日
【CVPR2020】用多样性最大化克服单样本NAS中的多模型遗忘
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
29+阅读 · 2020年4月6日
生成式对抗网络GAN异常检测
专知会员服务
120+阅读 · 2019年10月13日
使用GAN生成序列数据
专知
7+阅读 · 2020年7月4日
BERT 瘦身之路:Distillation,Quantization,Pruning
【综述】生成式对抗网络GAN最新进展综述
专知
61+阅读 · 2019年6月5日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
揭开GANs的神秘面纱
机器学习算法与Python学习
10+阅读 · 2019年2月27日
【学界】协作式生成对抗网络
GAN生成式对抗网络
9+阅读 · 2018年6月29日
【学界】生成式对抗网络:从生成数据到创造智能
GAN生成式对抗网络
6+阅读 · 2018年6月14日
深度 | 变分自编码器VAE面临的挑战与发展方向
机器之心
16+阅读 · 2018年3月21日
一文读懂生成对抗网络GANs(附学习资源)
数据派THU
10+阅读 · 2018年2月9日
Slimmable Generative Adversarial Networks
Arxiv
3+阅读 · 2020年12月10日
A Probe into Understanding GAN and VAE models
Arxiv
9+阅读 · 2018年12月13日
Arxiv
5+阅读 · 2018年5月1日
Arxiv
8+阅读 · 2018年1月30日
Arxiv
12+阅读 · 2018年1月12日
VIP会员
最新内容
《系统簇式多域作战规划范畴论框架》
专知会员服务
2+阅读 · 今天14:54
高效视频扩散模型:进展与挑战
专知会员服务
0+阅读 · 今天13:34
乌克兰前线的五项创新
专知会员服务
6+阅读 · 今天6:14
 军事通信系统与设备的技术演进综述
专知会员服务
4+阅读 · 今天5:59
《北约标准:医疗评估手册》174页
专知会员服务
4+阅读 · 今天5:51
《提升生成模型的安全性与保障》博士论文
专知会员服务
4+阅读 · 今天5:47
美国当前高超音速导弹发展概述
专知会员服务
4+阅读 · 4月19日
无人机蜂群建模与仿真方法
专知会员服务
13+阅读 · 4月19日
相关VIP内容
【AAAI2021】生成式Transformer的对比三元组提取
专知会员服务
51+阅读 · 2021年2月7日
专知会员服务
26+阅读 · 2021年1月21日
最新《生成式对抗网络GAN逆转》综述论文,22页pdf
专知会员服务
40+阅读 · 2021年1月19日
【AAAI2021】记忆门控循环网络
专知会员服务
50+阅读 · 2020年12月28日
【ACM MM2020】对偶注意力GAN语义图像合成
专知会员服务
36+阅读 · 2020年9月2日
【CVPR2020】用多样性最大化克服单样本NAS中的多模型遗忘
【CVPR2020】MSG-GAN:用于稳定图像合成的多尺度梯度GAN
专知会员服务
29+阅读 · 2020年4月6日
生成式对抗网络GAN异常检测
专知会员服务
120+阅读 · 2019年10月13日
相关资讯
使用GAN生成序列数据
专知
7+阅读 · 2020年7月4日
BERT 瘦身之路:Distillation,Quantization,Pruning
【综述】生成式对抗网络GAN最新进展综述
专知
61+阅读 · 2019年6月5日
万字综述之生成对抗网络(GAN)
PaperWeekly
43+阅读 · 2019年3月19日
揭开GANs的神秘面纱
机器学习算法与Python学习
10+阅读 · 2019年2月27日
【学界】协作式生成对抗网络
GAN生成式对抗网络
9+阅读 · 2018年6月29日
【学界】生成式对抗网络:从生成数据到创造智能
GAN生成式对抗网络
6+阅读 · 2018年6月14日
深度 | 变分自编码器VAE面临的挑战与发展方向
机器之心
16+阅读 · 2018年3月21日
一文读懂生成对抗网络GANs(附学习资源)
数据派THU
10+阅读 · 2018年2月9日
相关论文
微信扫码咨询专知VIP会员