In-memory computing (IMC) enables energy-efficient neural network inference by computing analog matrix-vector multiplications (MVM) in memory crossbar arrays. In this work we present a simulation framework for N-ary crossbar architectures that retrieves MVM results with minimal implementation assumptions. The XOR and MNIST classification tasks were successfully inferred using a simulated crossbar array of (4x4) 4-states magnetic tunnel junctions (MTJ). MNIST accuracy reached 94.48% (vs. 97.56% software baseline). The software-hardware performance gap was further reduced using PCA dimensionality reduction. We identified weight quantization as the primary error source, and studied its impact alongside systematic nonidealities and random noise. We find that cell-specific random noise is less detrimental than systematic errors due to averaging across the array. Finally, we demonstrate an optimal number of states per cell that balances quantization error against resistance state resolution to minimize total MVM error.


翻译:存内计算(IMC)通过在存储交叉阵列中执行模拟矩阵-向量乘法(MVM),实现了高能效神经网络推理。本文提出一种针对N元交叉架构的仿真框架,可在最简实现假设下获取MVM结果。利用模拟的(4×4)4态磁隧道结(MTJ)交叉阵列,成功完成了XOR和MNIST分类任务的推理。MNIST准确率达到94.48%(对比软件基线97.56%)。通过主成分分析(PCA)降维进一步缩小了软硬件性能差距。我们识别出权重量化是主要误差源,并系统研究了其与系统非理想性和随机噪声的耦合影响。研究发现,由于阵列平均效应,单元特异性随机噪声的危害小于系统误差。最后,我们验证了存在一个最优每单元状态数,可权衡量化误差与阻态分辨率以最小化总MVM误差。

0
下载
关闭预览

相关内容

【MIT】理解深度学习网络里单个神经元的作用
专知会员服务
29+阅读 · 2020年9月12日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关VIP内容
【MIT】理解深度学习网络里单个神经元的作用
专知会员服务
29+阅读 · 2020年9月12日
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员