Interactive segmentation models such as the Segment Anything Model (SAM) have demonstrated remarkable generalization on natural images, but perform suboptimally on remote sensing imagery (RSI) due to severe domain shift and the scarcity of dense annotations. To address this, we propose a self-prompting, point-supervised framework that adapts SAM to RSIs using only sparse point annotations. Our method employs a Refine-Requery-Reinforce loop, where coarse pseudo-masks are generated from initial points (Refine), improved with self-constructed box prompts (Requery), and embeddings are aligned across iterations to reduce confirmation bias (Reinforce). Without relying on full-mask supervision, our approach progressively enhances SAM's segmentation quality and domain robustness through self-guided prompt adaptation . We evaluate our proposed method on three RSI benchmark datasets, including WHU, HRSID, and NWPU VHR-10, showing that our method consistently surpasses pretrained SAM and recent point-supervised segmentation methods. Our results demonstrate that self-prompting and semantic alignment provide an efficient path towards scalable, point-level adaptation of foundation segmentation models for remote sensing applications.


翻译:交互式分割模型(如Segment Anything Model,SAM)在自然图像上展现出卓越的泛化能力,但由于严重的领域偏移及密集标注的稀缺性,其在遥感图像(RSI)上的表现欠佳。为解决此问题,我们提出了一种自提示的点监督框架,仅利用稀疏点标注将SAM适配至遥感图像。该方法采用“精炼-重查询-强化”循环流程:首先基于初始点生成粗糙伪掩码(精炼),随后通过自构建的框提示进行优化(重查询),并通过跨迭代的嵌入对齐减少确认偏差(强化)。在不依赖全掩码监督的情况下,本方法通过自引导的提示适配逐步提升SAM的分割质量与领域鲁棒性。我们在三个遥感图像基准数据集(包括WHU、HRSID和NWPU VHR-10)上评估了所提方法,结果表明其性能持续优于预训练的SAM及近期点监督分割方法。实验证明,自提示与语义对齐为实现遥感应用中基础分割模型的可扩展点级适配提供了高效路径。

0
下载
关闭预览

相关内容

【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
专知会员服务
41+阅读 · 2021年6月19日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员