The Class Activation Map (CAM) lookup of a neural network tells us to which regions the neural network focuses when it makes a decision. In the past, the CAM search method was dependent upon a specific internal module of the network. It has specific constraints on the structure of the neural network. To make the search of CAM have generality and high performance. We propose a learning-based algorithm, namely Multiple Dynamic Masks (MDM). It is based on a public cognition that only active features of a picture related to classification will affect the classification results of the neural network, and other features will hardly affect the classification results of the network. The mask generated by MDM conforms to the above cognition. It trains mask vectors of different sizes by constraining mask values and activating consistency, then it uses stacking masks of different scale to generate CAM that can balance spatial information and semantic information. Comparing the results of MDM with those of the recent advanced CAM search method, the performance of MDM has reached the state of the art results. We applied the MDM method to the interpretable neural networks ProtoPNet and XProtoNet, which improved the performance of model in the explainable prototype search. Finally, we visualized the CAM generation effect of MDM on neural networks of different architectures, verifying the generality of the MDM method.


翻译:神经网络的等级激活图( CAM) 查找神经网络的神经网络显示显示神经网络在作出决定时关注哪个区域。 过去, CAM 搜索方法取决于网络的特定内部模块。 该方法对神经网络的结构有具体限制。 使 CAM 搜索具有一般性和高性能。 我们提出基于学习的算法, 即多动态遮罩( MMMM) 。 它基于公众的认知, 只有与分类有关的图片的积极特性才会影响神经网络的分类结果, 而其他特性将几乎不会影响网络的分类结果。 MDM 生成的遮罩与上述内部模块相符。 它通过限制遮罩值并激活一致性来培养不同尺寸的遮罩矢, 然后它使用不同规模的遮罩生成CAM, 能够平衡空间信息和语义信息。 将MDM的结果与最近先进的 CAM 搜索方法的结果相匹配, MDM 的性能将几乎不会影响网络的分类结果。 我们用MDM 方法来解释可解释的图像网络的模型, ProPNet 和 X 的模型 。

0
下载
关闭预览

相关内容

MDM会议旨在寻找移动计算和数据管理领域寻求原始研究贡献,移动数据驱动的创新应用。 官网地址:http://dblp.uni-trier.de/db/conf/mdm/
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2022年9月30日
Arxiv
24+阅读 · 2018年10月24日
VIP会员
相关资讯
AIART 2022 Call for Papers
CCF多媒体专委会
1+阅读 · 2022年2月13日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
相关论文
Arxiv
0+阅读 · 2022年9月30日
Arxiv
24+阅读 · 2018年10月24日
相关基金
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员