In-memory computing (IMC) enables energy-efficient neural network inference by computing analog matrix-vector multiplications (MVM) in memory crossbar arrays. In this work we present a simulation framework for N-ary crossbar architectures that retrieves MVM results with minimal implementation assumptions. The XOR and MNIST classification tasks were successfully inferred using a simulated crossbar array of (4x4) 4-states magnetic tunnel junctions (MTJ). MNIST accuracy reached 94.48% (vs. 97.56% software baseline). The software-hardware performance gap was further reduced using PCA dimensionality reduction. We identified weight quantization as the primary error source, and studied its impact alongside systematic nonidealities and random noise. We find that cell-specific random noise is less detrimental than systematic errors due to averaging across the array. Finally, we demonstrate an optimal number of states per cell that balances quantization error against resistance state resolution to minimize total MVM error.


翻译:存内计算(IMC)通过在存储交叉阵列中执行模拟矩阵-向量乘法(MVM),实现了高能效神经网络推理。本文提出一种针对N元交叉架构的仿真框架,可在最简实现假设下获取MVM结果。利用模拟的(4×4)4态磁隧道结(MTJ)交叉阵列,成功完成了XOR和MNIST分类任务的推理。MNIST准确率达到94.48%(对比软件基线97.56%)。通过主成分分析(PCA)降维进一步缩小了软硬件性能差距。我们识别出权重量化是主要误差源,并系统研究了其与系统非理想性和随机噪声的耦合影响。研究发现,由于阵列平均效应,单元特异性随机噪声的危害小于系统误差。最后,我们验证了存在一个最优每单元状态数,可权衡量化误差与阻态分辨率以最小化总MVM误差。

0
下载
关闭预览

相关内容

【MIT】理解深度学习网络里单个神经元的作用
专知会员服务
29+阅读 · 2020年9月12日
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
最新内容
反制无人机:乌克兰提供的五点启示
专知会员服务
4+阅读 · 9月23日
《各指挥层级均亟需红队能力》报告
专知会员服务
5+阅读 · 9月23日
《航电任务系统框架(FAMOS)》50页报告
专知会员服务
4+阅读 · 9月22日
《对抗行动中的人工智能与自主性》智库报告
专知会员服务
7+阅读 · 9月22日
《从数据到胜利:战争中的分析优势之争》
专知会员服务
10+阅读 · 9月22日
战争不仅需要机器人:人类仍不可或缺
专知会员服务
5+阅读 · 9月21日
《描绘美国防部创新基础设施的未来蓝图》100页
专知会员服务
10+阅读 · 9月21日
相关VIP内容
【MIT】理解深度学习网络里单个神经元的作用
专知会员服务
29+阅读 · 2020年9月12日
相关基金
国家自然科学基金
8+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员