CLIP-based foreground-background (FG-BG) decomposition methods have demonstrated remarkable effectiveness in improving few-shot out-of-distribution (OOD) detection performance. However, existing approaches still suffer from several limitations. For background regions obtained from decomposition, existing methods adopt a uniform suppression strategy for all patches, overlooking the varying contributions of different patches to the prediction. For foreground regions, existing methods fail to adequately consider that some local patches may exhibit appearance or semantic similarity to other classes, which may mislead the training process. To address these issues, we propose a new plug-and-play framework. This framework consists of three core components: (1) a Foreground-Background Decomposition module, which follows previous FG-BG methods to separate an image into foreground and background regions; (2) an Adaptive Background Suppression module, which adaptively weights patch classification entropy; and (3) a Confusable Foreground Rectification module, which identifies and rectifies confusable foreground patches. Extensive experimental results demonstrate that the proposed plug-and-play framework significantly improves the performance of existing FG-BG decomposition methods. Code is available at: https://github.com/lounwb/FoBoR.


翻译:基于CLIP的前景-背景分解方法在提升少样本分布外检测性能方面已展现出显著效果。然而,现有方法仍存在若干局限。对于分解获得的背景区域,现有方法对所有图像块采用统一的抑制策略,忽视了不同图像块对预测的贡献差异。对于前景区域,现有方法未能充分考虑某些局部图像块可能与其他类别在外观或语义上存在相似性,从而可能误导训练过程。为解决这些问题,我们提出了一种新的即插即用框架。该框架包含三个核心组件:(1) 前景-背景分解模块,沿用先前FG-BG方法将图像分离为前景与背景区域;(2) 自适应背景抑制模块,基于图像块分类熵进行自适应加权;(3) 易混淆前景校正模块,用于识别并校正易混淆的前景图像块。大量实验结果表明,所提出的即插即用框架显著提升了现有前景-背景分解方法的性能。代码发布于:https://github.com/lounwb/FoBoR。

0
下载
关闭预览

相关内容

基于解耦的小样本目标检测方法研究
专知会员服务
19+阅读 · 2024年9月19日
【NeurIPS2021】基于关联与识别的少样本目标检测
专知会员服务
24+阅读 · 2021年11月29日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
5+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
7+阅读 · 7月19日
战力倍增器:自主武器系统与乌克兰及加沙冲突
人工智能赋能战场情报:提速决策进程
专知会员服务
5+阅读 · 7月17日
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
8+阅读 · 7月17日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员