Few-shot segmentation (FSS) aims to rapidly learn novel class concepts from limited examples to segment specific targets in unseen images, and has been widely applied in areas such as medical diagnosis and industrial inspection. However, existing studies largely overlook the complex environmental factors encountered in real world scenarios-such as illumination, background, and camera viewpoint-which can substantially increase the difficulty of test images. As a result, models trained under laboratory conditions often fall short of practical deployment requirements. To bridge this gap, in this paper, an environment-robust FSS setting is introduced that explicitly incorporates challenging test cases arising from complex environments-such as motion blur, small objects, and camouflaged targets-to enhance model's robustness under realistic, dynamic conditions. An environment robust FSS benchmark (ER-FSS) is established, covering eight datasets across multiple real world scenarios. In addition, an Adaptive Attention Distillation (AAD) method is proposed, which repeatedly contrasts and distills key shared semantics between known (support) and unknown (query) images to derive class-specific attention for novel categories. This strengthens the model's ability to focus on the correct targets in complex environments, thereby improving environmental robustness. Comparative experiments show that AAD improves mIoU by 3.3% - 8.5% across all datasets and settings, demonstrating superior performance and strong generalization. The source code and dataset are available at: https://github.com/guoqianyu-alberta/Adaptive-Attention-Distillation-for-FSS.


翻译:小样本分割旨在从有限示例中快速学习新类概念,以在未见图像中分割特定目标,已广泛应用于医学诊断和工业检测等领域。然而,现有研究大多忽视了现实场景中遇到的复杂环境因素——如光照、背景和相机视角——这些因素会显著增加测试图像的难度。因此,在实验室条件下训练的模型往往无法满足实际部署需求。为弥补这一差距,本文引入了一种环境鲁棒的小样本分割设定,明确纳入复杂环境产生的挑战性测试案例——如运动模糊、小目标和伪装目标——以增强模型在真实动态条件下的鲁棒性。我们建立了环境鲁棒小样本分割基准,涵盖多个现实场景的八个数据集。此外,提出了一种自适应注意力蒸馏方法,该方法通过反复对比和蒸馏已知图像与未知图像之间的关键共享语义,从而推导出新类别的类特定注意力。这增强了模型在复杂环境中聚焦正确目标的能力,进而提升了环境鲁棒性。对比实验表明,该方法在所有数据集和设定下将平均交并比提升了3.3%至8.5%,展现出优越的性能和强大的泛化能力。源代码和数据集已公开于:https://github.com/guoqianyu-alberta/Adaptive-Attention-Distillation-for-FSS。

0
下载
关闭预览

相关内容

【NeurIPS 2022】扩散模型的深度平衡方法
专知会员服务
40+阅读 · 2022年11月5日
【CVPR2022】基于渐进自蒸馏的鲁棒跨模态表示学习
专知会员服务
20+阅读 · 2022年4月13日
专知会员服务
41+阅读 · 2021年6月19日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员