Deep learning models have achieved remarkable success in computer vision but still rely heavily on large-scale labeled data and tend to overfit when data is limited or distributions shift. Data augmentation -- particularly mask-based information dropping -- can enhance robustness by forcing models to explore complementary cues; however, existing approaches often lack structural awareness and risk discarding essential semantics. We propose Granular Ball Guided Masking (GBGM), a structure-aware augmentation strategy guided by Granular Ball Computing (GBC). GBGM adaptively preserves semantically rich, structurally important regions while suppressing redundant areas through a coarse-to-fine hierarchical masking process, producing augmentations that are both representative and discriminative. Extensive experiments on multiple benchmarks demonstrate consistent improvements not only in image classification and masked image reconstruction, but also in image tampering detection, validating the effectiveness and generalization of GBGM across both recognition and forensic scenarios. Simple and model-agnostic, GBGM integrates seamlessly into CNNs and Vision Transformers, offering a practical paradigm for structure-aware data augmentation.


翻译:深度学习模型在计算机视觉领域取得了显著成功,但仍严重依赖大规模标注数据,且在数据有限或分布偏移时容易过拟合。数据增强——特别是基于掩码的信息丢弃技术——可通过迫使模型探索互补线索来增强鲁棒性;然而,现有方法往往缺乏结构感知能力,可能丢弃关键语义信息。我们提出粒度球引导掩码(GBGM),一种由粒度球计算(GBC)引导的结构感知增强策略。GBGM通过从粗到细的层次化掩码过程,自适应地保留语义丰富、结构重要的区域,同时抑制冗余区域,从而生成既具代表性又具判别性的增强样本。在多个基准测试上的大量实验表明,该方法不仅在图像分类和掩码图像重建任务中取得了一致性提升,在图像篡改检测任务中也表现优异,验证了GBGM在识别与取证场景下的有效性和泛化能力。GBGM方法简单且与模型无关,可无缝集成到CNN和Vision Transformer中,为结构感知的数据增强提供了一个实用范式。

0
下载
关闭预览

相关内容

《Mixup数据增强及其扩展》综述
专知会员服务
37+阅读 · 2024年9月15日
专知会员服务
74+阅读 · 2021年7月21日
专知会员服务
53+阅读 · 2021年3月22日
专知会员服务
101+阅读 · 2020年7月20日
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
专家报告 | 融合数据先验知识的智能图像增强
中国图象图形学报
16+阅读 · 2020年5月25日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
谷歌推出新型数据增强算法:AutoAugment
论智
20+阅读 · 2018年6月6日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关资讯
深度学习模型可解释性的研究进展
专知
26+阅读 · 2020年8月1日
专家报告 | 融合数据先验知识的智能图像增强
中国图象图形学报
16+阅读 · 2020年5月25日
【学界】DeepMind论文:深度压缩感知,新框架提升GAN性能
GAN生成式对抗网络
14+阅读 · 2019年5月23日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【边缘智能】边缘计算驱动的深度学习加速技术
产业智能官
20+阅读 · 2019年2月8日
谷歌推出新型数据增强算法:AutoAugment
论智
20+阅读 · 2018年6月6日
展望:模型驱动的深度学习
人工智能学家
12+阅读 · 2018年1月23日
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
31+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员