The computational requirements of generative adversarial networks (GANs) exceed the limit of conventional Von Neumann architectures, necessitating energy efficient alternatives such as neuromorphic spintronics. This work presents a hybrid CMOS-spintronic deep convolutional generative adversarial network (DCGAN) architecture for synthetic image generation. The proposed generative vision model approach follows the standard framework, leveraging generator and discriminators adversarial training with our designed spintronics hardware for deconvolution, convolution, and activation layers of the DCGAN architecture. To enable hardware aware spintronic implementation, the generator's deconvolution layers are restructured as zero padded convolution, allowing seamless integration with a 6-bit skyrmion based synapse in a crossbar, without compromising training performance. Nonlinear activation functions are implemented using a hybrid CMOS domain wall based Rectified linear unit (ReLU) and Leaky ReLU units. Our proposed tunable Leaky ReLU employs domain wall position coded, continuous resistance states and a piecewise uniaxial parabolic anisotropy profile with a parallel MTJ readout, exhibiting energy consumption of 0.192 pJ. Our spintronic DCGAN model demonstrates adaptability across both grayscale and colored datasets, achieving Fr'echet Inception Distances (FID) of 27.5 for the Fashion MNIST and 45.4 for Anime Face datasets, with testing energy (training energy) of 4.9 nJ (14.97~nJ/image) and 24.72 nJ (74.7 nJ/image).


翻译:生成对抗网络(GAN)的计算需求已超出传统冯·诺依曼架构的极限,亟需采用神经形态自旋电子学等能效更高的替代方案。本研究提出了一种用于合成图像生成的混合CMOS-自旋电子深度卷积生成对抗网络(DCGAN)架构。该生成视觉模型方法遵循标准框架,利用生成器和判别器的对抗训练,并结合我们设计的自旋电子硬件实现DCGAN架构中的反卷积、卷积和激活层。为实现硬件感知的自旋电子实现,生成器的反卷积层被重构为零填充卷积,使其能够与基于交叉阵列的6位斯格明子突触无缝集成,且不影响训练性能。非线性激活函数通过混合CMOS畴壁整流线性单元(ReLU)和泄漏整流线性单元(Leaky ReLU)实现。我们提出的可调谐Leaky ReLU采用畴壁位置编码的连续电阻态,结合分段单轴抛物线各向异性分布与并行MTJ读出结构,其能耗为0.192 pJ。我们的自旋电子DCGAN模型在灰度与彩色数据集中均表现出良好适应性,在Fashion MNIST和动漫人脸数据集上分别取得27.5和45.4的弗雷歇起始距离(FID)分数,其测试能耗(训练能耗)分别为4.9 nJ(14.97 nJ/图像)和24.72 nJ(74.7 nJ/图像)。

0
下载
关闭预览

相关内容

专知会员服务
56+阅读 · 2021年9月3日
专知会员服务
48+阅读 · 2021年6月12日
专知会员服务
96+阅读 · 2021年2月6日
【综述】生成式对抗网络GAN最新进展综述
专知
61+阅读 · 2019年6月5日
最新《生成式对抗网络GAN进展》论文
专知
95+阅读 · 2019年4月5日
必读!生成对抗网络GAN论文TOP 10
GAN生成式对抗网络
58+阅读 · 2019年3月20日
【学界】基于条件深度卷积生成对抗网络的图像识别方法
GAN生成式对抗网络
16+阅读 · 2018年7月26日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关VIP内容
专知会员服务
56+阅读 · 2021年9月3日
专知会员服务
48+阅读 · 2021年6月12日
专知会员服务
96+阅读 · 2021年2月6日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员