Few-shot segmentation (FSS) aims to rapidly learn novel class concepts from limited examples to segment specific targets in unseen images, and has been widely applied in areas such as medical diagnosis and industrial inspection. However, existing studies largely overlook the complex environmental factors encountered in real world scenarios-such as illumination, background, and camera viewpoint-which can substantially increase the difficulty of test images. As a result, models trained under laboratory conditions often fall short of practical deployment requirements. To bridge this gap, in this paper, an environment-robust FSS setting is introduced that explicitly incorporates challenging test cases arising from complex environments-such as motion blur, small objects, and camouflaged targets-to enhance model's robustness under realistic, dynamic conditions. An environment robust FSS benchmark (ER-FSS) is established, covering eight datasets across multiple real world scenarios. In addition, an Adaptive Attention Distillation (AAD) method is proposed, which repeatedly contrasts and distills key shared semantics between known (support) and unknown (query) images to derive class-specific attention for novel categories. This strengthens the model's ability to focus on the correct targets in complex environments, thereby improving environmental robustness. Comparative experiments show that AAD improves mIoU by 3.3% - 8.5% across all datasets and settings, demonstrating superior performance and strong generalization. The source code and dataset are available at: https://github.com/guoqianyu-alberta/Adaptive-Attention-Distillation-for-FSS.


翻译:小样本分割旨在从有限示例中快速学习新类概念,以在未见图像中分割特定目标,已广泛应用于医学诊断和工业检测等领域。然而,现有研究大多忽视了现实场景中遇到的复杂环境因素——如光照、背景和相机视角——这些因素会显著增加测试图像的难度。因此,在实验室条件下训练的模型往往无法满足实际部署需求。为弥补这一差距,本文引入了一种环境鲁棒的小样本分割设定,明确纳入复杂环境产生的挑战性测试案例——如运动模糊、小目标和伪装目标——以增强模型在真实动态条件下的鲁棒性。我们建立了环境鲁棒小样本分割基准,涵盖多个现实场景的八个数据集。此外,提出了一种自适应注意力蒸馏方法,该方法通过反复对比和蒸馏已知图像与未知图像之间的关键共享语义,从而推导出新类别的类特定注意力。这增强了模型在复杂环境中聚焦正确目标的能力,进而提升了环境鲁棒性。对比实验表明,该方法在所有数据集和设定下将平均交并比提升了3.3%至8.5%,展现出优越的性能和强大的泛化能力。源代码和数据集已公开于:https://github.com/guoqianyu-alberta/Adaptive-Attention-Distillation-for-FSS。

0
下载
关闭预览

相关内容

小样本语义分割研究现状与分析
专知会员服务
23+阅读 · 2024年11月11日
基于图神经网络的小样本学习方法研究进展
专知会员服务
44+阅读 · 2023年11月18日
小样本困境下的图像语义分割综述
专知会员服务
31+阅读 · 2023年1月24日
小样本目标检测研究综述
专知会员服务
57+阅读 · 2023年1月15日
专知会员服务
204+阅读 · 2020年12月5日
【ICML 2020 】小样本学习即领域迁移
专知会员服务
78+阅读 · 2020年6月26日
基于小样本学习的图像分类技术综述
专知会员服务
152+阅读 · 2020年5月6日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
VIP会员
相关VIP内容
小样本语义分割研究现状与分析
专知会员服务
23+阅读 · 2024年11月11日
基于图神经网络的小样本学习方法研究进展
专知会员服务
44+阅读 · 2023年11月18日
小样本困境下的图像语义分割综述
专知会员服务
31+阅读 · 2023年1月24日
小样本目标检测研究综述
专知会员服务
57+阅读 · 2023年1月15日
专知会员服务
204+阅读 · 2020年12月5日
【ICML 2020 】小样本学习即领域迁移
专知会员服务
78+阅读 · 2020年6月26日
基于小样本学习的图像分类技术综述
专知会员服务
152+阅读 · 2020年5月6日
相关资讯
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员