The hypothesis that Convolutional Neural Networks (CNNs) are inherently texture-biased has shaped much of the discourse on feature use in deep learning. We revisit this hypothesis by examining limitations in the cue-conflict experiment by Geirhos et al. To address these limitations, we propose a domain-agnostic framework that quantifies feature reliance through systematic suppression of shape, texture, and color cues, avoiding the confounds of forced-choice conflicts. By evaluating humans and neural networks under controlled suppression conditions, we find that CNNs are not inherently texture-biased but predominantly rely on local shape features. Nonetheless, this reliance can be substantially mitigated through modern training strategies or architectures (ConvNeXt, ViTs). We further extend the analysis across computer vision, medical imaging, and remote sensing, revealing that reliance patterns differ systematically: computer vision models prioritize shape, medical imaging models emphasize color, and remote sensing models exhibit a stronger reliance on texture. Code is available at https://github.com/tomburgert/feature-reliance.


翻译:卷积神经网络(CNN)天生具有纹理偏向的假设,在很大程度上塑造了关于深度学习特征使用的讨论。我们通过审视Geirhos等人提出的线索冲突实验的局限性,重新检验了这一假设。为应对这些局限,我们提出了一种领域无关的框架,通过系统性地抑制形状、纹理和颜色线索来量化特征依赖,避免了强制选择冲突所带来的混淆。通过在受控抑制条件下评估人类和神经网络,我们发现CNN并非天生偏向纹理,而是主要依赖局部形状特征。然而,这种依赖可以通过现代训练策略或架构(ConvNeXt、ViTs)得到显著缓解。我们进一步将分析扩展到计算机视觉、医学影像和遥感领域,揭示了依赖模式存在系统性差异:计算机视觉模型优先考虑形状,医学影像模型强调颜色,而遥感模型则表现出更强的纹理依赖。代码可在https://github.com/tomburgert/feature-reliance获取。

0
下载
关闭预览

相关内容

在数学(特别是功能分析)中,卷积是对两个函数(f和g)的数学运算,产生三个函数,表示第一个函数的形状如何被另一个函数修改。 卷积一词既指结果函数,又指计算结果的过程。 它定义为两个函数的乘积在一个函数反转和移位后的积分。 并针对所有shift值评估积分,从而生成卷积函数。
【ICML2023】图神经网络可以仅从图结构中恢复隐藏特征
专知会员服务
32+阅读 · 2023年4月27日
UTC: 用于视觉对话的任务间对比学习的统一Transformer
专知会员服务
14+阅读 · 2022年5月4日
专知会员服务
30+阅读 · 2021年2月26日
专知会员服务
24+阅读 · 2020年9月15日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员