Deep neural networks (DNNs) are used in a variety of real-world applications including, for example, image classification and speech recognition. The inference accuracy of DNN implemented on hardware in integrated circuits (ICs) degrades under phenomena such as transistor aging. Aging slows down the switching speed of transistors, resulting in system-level timing violations due to unsustainable clocks. To maintain reliability for the entire projected lifetime, designers add guardbands to prevent timing violations; however, adding large timing guardbands causes losses in performance (speed or throughput). This chapter provides a detailed discussion of the effects of long-term and short-term transistor aging on DNN inference accuracy. Furthermore, to mitigate aging effects on DNN's accuracy and keep them at bay, a methodology for aging-aware retraining is presented in order to generate a resilient DNN even when aggressive (i.e., smaller than required) guardbands are used. This improves the inference accuracy of the DNNs even in the presence of aging-induced degradation. These effects are discussed in this chapter along with mitigation strategies on a hardware implementation of a DNN for image classification on an off-the-shelf image dataset. The application of short-term aging as an excitation mechanism for the detection of hardware Trojans in integrated circuits is also briefly discussed.


翻译:深度神经网络(DNN)被广泛应用于图像分类、语音识别等各类现实场景中。在集成电路(IC)硬件上实现的DNN,其推理精度会受到晶体管老化等现象的影响而下降。老化会减慢晶体管的开关速度,导致因时钟无法维持而产生系统级时序违反。为了在整个预期寿命内保持可靠性,设计人员会添加保护带以防止时序违反;然而,过大的时序保护带会导致性能(速度或吞吐量)损失。本章详细讨论了长短期晶体管老化对DNN推理精度的影响。此外,为缓解老化对DNN精度的影响并将其控制在可接受范围内,本文提出了一种面向老化的重训练方法,即使在采用激进(即小于所需值)的保护带时,也能生成具有鲁棒性的DNN。即使在存在老化引发的性能退化的情况下,这也能提高DNN的推理精度。本章结合在一个商用图像数据集上进行图像分类的DNN硬件实现实例,讨论了这些影响及其缓解策略。此外,还简要讨论了将短期老化作为激励机制用于检测集成电路中硬件木马的应用。

0
下载
关闭预览

相关内容

【普林斯顿博士论文】构建高效深度神经网络,195页pdf
专知会员服务
70+阅读 · 2023年2月8日
【Nature通讯】深度神经网络模型中的个体差异
专知会员服务
14+阅读 · 2020年11月16日
最新《可解释深度学习XDL》2020研究进展综述大全,54页pdf
7个实用的深度学习技巧
机器学习算法与Python学习
16+阅读 · 2019年3月6日
【优青论文】深度神经网络压缩与加速综述
计算机研究与发展
17+阅读 · 2018年9月20日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Arxiv
0+阅读 · 5月5日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
6+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
4+阅读 · 6月17日
相关基金
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员