The hypothesis that Convolutional Neural Networks (CNNs) are inherently texture-biased has shaped much of the discourse on feature use in deep learning. We revisit this hypothesis by examining limitations in the cue-conflict experiment by Geirhos et al. To address these limitations, we propose a domain-agnostic framework that quantifies feature reliance through systematic suppression of shape, texture, and color cues, avoiding the confounds of forced-choice conflicts. By evaluating humans and neural networks under controlled suppression conditions, we find that CNNs are not inherently texture-biased but predominantly rely on local shape features. Nonetheless, this reliance can be substantially mitigated through modern training strategies or architectures (ConvNeXt, ViTs). We further extend the analysis across computer vision, medical imaging, and remote sensing, revealing that reliance patterns differ systematically: computer vision models prioritize shape, medical imaging models emphasize color, and remote sensing models exhibit a stronger reliance on texture. Code is available at https://github.com/tomburgert/feature-reliance.


翻译:卷积神经网络(CNN)天生具有纹理偏向的假设,在很大程度上塑造了关于深度学习特征使用的讨论。我们通过审视Geirhos等人提出的线索冲突实验的局限性,重新检验了这一假设。为应对这些局限,我们提出了一种领域无关的框架,通过系统性地抑制形状、纹理和颜色线索来量化特征依赖,避免了强制选择冲突所带来的混淆。通过在受控抑制条件下评估人类和神经网络,我们发现CNN并非天生偏向纹理,而是主要依赖局部形状特征。然而,这种依赖可以通过现代训练策略或架构(ConvNeXt、ViTs)得到显著缓解。我们进一步将分析扩展到计算机视觉、医学影像和遥感领域,揭示了依赖模式存在系统性差异:计算机视觉模型优先考虑形状,医学影像模型强调颜色,而遥感模型则表现出更强的纹理依赖。代码可在https://github.com/tomburgert/feature-reliance获取。

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
专知会员服务
81+阅读 · 2020年8月4日
卷积神经网络的概述论文:分析、应用和展望,21页pdf
专知会员服务
91+阅读 · 2020年4月7日
重新思考图卷积网络:GNN只是一种滤波器
新智元
28+阅读 · 2019年6月3日
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
深度学习之CNN简介
Python技术博文
20+阅读 · 2018年1月10日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
VIP会员
相关VIP内容
专知会员服务
81+阅读 · 2020年8月4日
卷积神经网络的概述论文:分析、应用和展望,21页pdf
专知会员服务
91+阅读 · 2020年4月7日
相关资讯
重新思考图卷积网络:GNN只是一种滤波器
新智元
28+阅读 · 2019年6月3日
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
专栏 | 浅析图卷积神经网络
机器之心
28+阅读 · 2018年7月4日
深度学习之CNN简介
Python技术博文
20+阅读 · 2018年1月10日
基于注意力机制的图卷积网络
科技创新与创业
74+阅读 · 2017年11月8日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员