Large-scale foundation models such as the Segment Anything Model 3 (SAM 3) promise a transition toward open-vocabulary, training-free computer vision. However, their capacity to generalize out-of-distribution to the top-down geometric structures of Earth Observation imagery remains largely unquantified. We present a multi-task empirical evaluation of SAM 3 across remote sensing scene classification, object detection, and instance segmentation, without any fine-tuning. For scene classification, we repurpose its decoupled binary presence head as a standalone zero-shot classifier. For detection and segmentation, we compare textual and visual prompts, where a visual prompt reveals one true instance of the target class in the image being segmented. Text alone performs poorly, while adding a visual prompt raises accuracy sharply, and combining both raises or lowers accuracy depending on the task. We also compare SAM 3's text-only performance against several general-domain, open-vocabulary detection and segmentation models under the same evaluation protocol, and find that it leads all of them on both benchmarks. Its accuracy without a visual prompt nonetheless remains limited, motivating parameter-efficient fine-tuning as a direction for future work.


翻译:暂无翻译

0
下载
关闭预览

相关内容

Segment Anything模型的高效变体:综述
专知会员服务
27+阅读 · 2024年10月11日
分割任何模型(SAM)综述: 视觉基础模型与提示工程的结合
专知会员服务
54+阅读 · 2023年6月16日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
白话attention综述(上)
AINLP
12+阅读 · 2019年12月14日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
近期语音类前沿论文
深度学习每日摘要
14+阅读 · 2019年3月17日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
乌克兰无人机饱和战场中的错误教训
专知会员服务
17+阅读 · 11月17日
面向最后一战术英里:美军无人机创新尝试
专知会员服务
14+阅读 · 11月17日
《美空军2026条令文件:对海压制作战》
专知会员服务
30+阅读 · 11月9日
人工智能与战争的未来
专知会员服务
14+阅读 · 11月8日
《Agent Mosaic:识别智能体LLM系统中的机密泄露》
专知会员服务
14+阅读 · 11月8日
相关VIP内容
Segment Anything模型的高效变体:综述
专知会员服务
27+阅读 · 2024年10月11日
分割任何模型(SAM)综述: 视觉基础模型与提示工程的结合
专知会员服务
54+阅读 · 2023年6月16日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员