Visual Attention enhances convolutional neural networks (CNNs) by modulating intermediate features, yet their effects on downstream decisions remain less understood. We present a decision-space framework that models multiplicative attention as an intermediate feature perturbation and derives a first-order prediction of its effect on the target-versus-competitor classification margin. We further introduce the Decision Alignment Score (DAS) to quantify the directional alignment between the perturbation and the local margin gradient. We evaluate the framework on CIFAR-100 using SimAM and CBAM across five popular CNN backbones, ResNet-18, ResNet-20, ResNet-50, ResNet-56, and MobileNetV2. The analysis examines prediction agreement, DAS margin correlations, and downstream activation-state changes. Across most final-attention configurations, predicted and actual margin changes show good agreement, while DAS exhibits positive correlations with actual margin changes. Single-attention experiments further show that prediction agreement and DAS margin correlations depend on attention placement, with stronger associations at later stages.


翻译:暂无翻译

0
下载
关闭预览

相关内容

太值得收藏了!秒懂各种深度CNN操作
机器学习算法与Python学习
11+阅读 · 2019年3月18日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
H-Nets:让CNN的旋转等变性更加稳定
论智
12+阅读 · 2018年4月18日
一文让你入门CNN,附3份深度学习视频资源
机器学习算法与Python学习
12+阅读 · 2018年3月10日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
【深度】Deep Visualization:可视化并理解CNN
专知
12+阅读 · 2017年9月30日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 11月3日
VIP会员
最新内容
《美空军2026条令文件:对海压制作战》
专知会员服务
11+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
4+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
人工智能在军事教育中的应用:若干视角与经验
“星链”减速与不断适应的乌克兰
专知会员服务
7+阅读 · 11月6日
美国中期选举之后:帕兰提尔面临不确定性?
专知会员服务
4+阅读 · 11月6日
相关VIP内容
相关资讯
太值得收藏了!秒懂各种深度CNN操作
机器学习算法与Python学习
11+阅读 · 2019年3月18日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
H-Nets:让CNN的旋转等变性更加稳定
论智
12+阅读 · 2018年4月18日
一文让你入门CNN,附3份深度学习视频资源
机器学习算法与Python学习
12+阅读 · 2018年3月10日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
可解释的CNN
CreateAMind
18+阅读 · 2017年10月5日
【深度】Deep Visualization:可视化并理解CNN
专知
12+阅读 · 2017年9月30日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员