Deep neural networks (DNNs) play a crucial role in the field of artificial intelligence, and their security-related testing has been a prominent research focus. By inputting test cases, the behavior of models is examined for anomalies, and coverage metrics are utilized to determine the extent of neurons covered by these test cases. With the widespread application and advancement of DNNs, different types of neural behaviors have garnered attention, leading to the emergence of various coverage metrics for neural networks. However, there is currently a lack of empirical research on these coverage metrics, specifically in analyzing the relationships and patterns between model depth, configuration information, and neural network coverage. This paper aims to investigate the relationships and patterns of four coverage metrics: primary functionality, boundary, hierarchy, and structural coverage. A series of empirical experiments were conducted, selecting LeNet, VGG, and ResNet as different DNN architectures, along with 10 models of varying depths ranging from 5 to 54 layers, to compare and study the relationships between different depths, configuration information, and various neural network coverage metrics. Additionally, an investigation was carried out on the relationships between modified decision/condition coverage and dataset size. Finally, three potential future directions are proposed to further contribute to the security testing of DNN Models.


翻译:深度神经网络在人工智能领域发挥着关键作用,其安全相关测试一直是重要的研究焦点。通过输入测试用例,检查模型行为是否存在异常,并利用覆盖度量来确定这些测试用例覆盖的神经元范围。随着深度神经网络的广泛应用和发展,不同类型的神经行为受到关注,导致出现了各种神经网络覆盖度量。然而,目前对这些覆盖度量缺乏实证研究,特别是在分析模型深度、配置信息与神经网络覆盖之间的关系和模式方面。本文旨在研究四种覆盖度量的关系和模式:主要功能覆盖、边界覆盖、层次覆盖和结构覆盖。通过一系列实证实验,选择LeNet、VGG和ResNet作为不同的深度神经网络架构,以及10个深度从5层到54层不等的模型,比较研究不同深度、配置信息与各种神经网络覆盖度量之间的关系。此外,还研究了修改后的决策/条件覆盖与数据集大小之间的关系。最后,提出了三个潜在的未来研究方向,以进一步促进深度神经网络模型的安全测试。

0
下载
关闭预览

相关内容

【NUS博士论文】深度表示学习的视频基础模型,236页pdf
专知会员服务
33+阅读 · 2023年12月26日
专知会员服务
117+阅读 · 2020年8月22日
专知会员服务
223+阅读 · 2020年8月1日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
【深度学习】深度学习的核心:掌握训练数据的方法
产业智能官
12+阅读 · 2018年1月14日
尽早跑通深度学习的实践代码,是入门深度学习的最快途径
算法与数据结构
22+阅读 · 2017年12月13日
深度学习面试你必须知道这些答案
AI研习社
18+阅读 · 2017年10月31日
干货|基于图卷积网络的图深度学习
DataCanvas大数据云平台
10+阅读 · 2017年6月8日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NUS博士论文】深度表示学习的视频基础模型,236页pdf
专知会员服务
33+阅读 · 2023年12月26日
专知会员服务
117+阅读 · 2020年8月22日
专知会员服务
223+阅读 · 2020年8月1日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
7+阅读 · 2017年12月31日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员