Convolutional Neural Networks (CNNs) exhibit a well-known texture bias, prioritizing local patterns over global shapes - a tendency inherent to their convolutional architecture. While this bias is beneficial for texture-rich natural images, it often degrades performance on shape-dominant data such as illustrations and sketches. Although prior work has proposed shape-biased models to mitigate this issue, these approaches lack a quantitative metric for identifying which datasets would actually benefit from such modifications. To address this limitation, we propose a data-driven metric that quantifies the shape-texture balance within a dataset by computing the Structural Similarity Index (SSIM) between an image's luminance (Y) channel and its L0-smoothed counterpart. Building on this metric, we introduce a computationally efficient adaptation method that promotes shape bias by modifying the dilation of max-pooling operations while keeping convolutional weights frozen. Experimental results demonstrate consistent accuracy improvements on shape-dominant datasets, particularly in low-data regimes where full fine-tuning is impractical, requiring training only the final classification layer.


翻译:卷积神经网络(CNN)表现出一种众所周知的纹理偏置,即优先考虑局部模式而非全局形状——这是其卷积架构固有的倾向。虽然这种偏置对于纹理丰富的自然图像有益,但在以形状为主导的数据(如插图和草图)上通常会降低性能。尽管先前的研究提出了形状偏置模型来缓解此问题,但这些方法缺乏定量指标来识别哪些数据集实际上会从此类修改中受益。为解决这一局限,我们提出了一种数据驱动的指标,通过计算图像亮度(Y)通道与其L0平滑对应版本之间的结构相似性指数(SSIM),来量化数据集内的形状-纹理平衡。基于此指标,我们引入了一种计算高效的适应方法,该方法通过修改最大池化操作的膨胀率来促进形状偏置,同时保持卷积权重不变。实验结果表明,在以形状为主导的数据集上,尤其是在数据量较少、无法进行完整微调(仅需训练最终分类层)的情况下,该方法能持续提升准确率。

0
下载
关闭预览

相关内容

专知会员服务
23+阅读 · 2021年7月15日
深度神经网络模型压缩与加速综述
专知会员服务
130+阅读 · 2019年10月12日
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
太值得收藏了!秒懂各种深度CNN操作
机器学习算法与Python学习
11+阅读 · 2019年3月18日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
CNN五大经典模型:LeNet,AlexNet,GoogleNet,VGG,DRL
黑龙江大学自然语言处理实验室
14+阅读 · 2018年9月7日
【干货】使用Pytorch实现卷积神经网络
专知
13+阅读 · 2018年5月12日
卷积神经网络的最佳解释!
专知
12+阅读 · 2018年5月1日
【深度】Deep Visualization:可视化并理解CNN
专知
12+阅读 · 2017年9月30日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月5日
VIP会员
相关资讯
牛逼哄哄的图卷积神经网络将带来哪些机遇?
计算机视觉life
49+阅读 · 2019年3月25日
太值得收藏了!秒懂各种深度CNN操作
机器学习算法与Python学习
11+阅读 · 2019年3月18日
直白介绍卷积神经网络(CNN)
算法与数学之美
13+阅读 · 2019年1月23日
CNN五大经典模型:LeNet,AlexNet,GoogleNet,VGG,DRL
黑龙江大学自然语言处理实验室
14+阅读 · 2018年9月7日
【干货】使用Pytorch实现卷积神经网络
专知
13+阅读 · 2018年5月12日
卷积神经网络的最佳解释!
专知
12+阅读 · 2018年5月1日
【深度】Deep Visualization:可视化并理解CNN
专知
12+阅读 · 2017年9月30日
CNN 模型压缩与加速算法综述
机器学习研究会
16+阅读 · 2017年8月25日
CNN、RNN在自动特征提取中的应用
乌镇智库
14+阅读 · 2017年8月4日
卷积神经网络(CNN)学习笔记1:基础入门
黑龙江大学自然语言处理实验室
14+阅读 · 2016年6月16日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员