Tropical forests harbor most of the planet's tree biodiversity and are critical to global ecological balance. Canopy trees in particular play a disproportionate role in carbon storage and functioning of these ecosystems. Studying canopy trees at scale requires accurate delineation of individual tree crowns, typically performed using high-resolution aerial imagery. Despite advances in transformer-based models for individual tree crown segmentation, performance remains low in most forests, especially tropical ones. To this end, we introduce SelvaMask, a new tropical dataset containing over 8,800 manually delineated tree crowns across three Neotropical forest sites in Panama, Brazil, and Ecuador. SelvaMask features comprehensive annotations, including an inter-annotator agreement evaluation, capturing the dense structure of tropical forests and highlighting the difficulty of the task. Leveraging this benchmark, we propose a modular detection-segmentation pipeline that adapts vision foundation models (VFMs), using domain-specific detection-prompter. Our approach reaches state-of-the-art performance, outperforming both zero-shot generalist models and fully supervised end-to-end methods in dense tropical forests. We validate these gains on external tropical and temperate datasets, demonstrating that SelvaMask serves as both a challenging benchmark and a key enabler for generalized forest monitoring. Our code and dataset will be released publicly.


翻译:热带森林蕴藏着地球上大部分的树木生物多样性,对全球生态平衡至关重要。冠层树木尤其在这些生态系统的碳储存和功能维持中发挥着超乎比例的作用。大规模研究冠层树木需要精确划分单株树冠,通常使用高分辨率航空影像进行。尽管基于Transformer的模型在单株树冠分割方面取得了进展,但在大多数森林(尤其是热带森林)中其性能仍然较低。为此,我们推出了SelvaMask——一个新的热带森林数据集,包含巴拿马、巴西和厄瓜多尔三个新热带森林站点超过8,800个手动标注的树冠。SelvaMask具有全面的标注信息,包括标注者间一致性评估,捕捉了热带森林的密集结构并突显了该任务的难度。基于此基准,我们提出了一种模块化检测-分割流程,通过领域特异性检测提示器适配视觉基础模型。该方法在密集热带森林中达到了最先进的性能,超越了零样本通用模型和全监督端到端方法。我们在外部热带及温带数据集上验证了这些性能提升,证明SelvaMask既可作为具有挑战性的基准,也是实现广义森林监测的关键推动力。我们的代码和数据集将公开发布。

0
下载
关闭预览

相关内容

【SIGMOD2023】大规模地理空间分析:问题、挑战与机遇,
专知会员服务
20+阅读 · 2023年7月9日
一文带你读懂 SegNet(语义分割)
AI研习社
19+阅读 · 2019年3月9日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
构建AI知识体系-专知主题知识树简介
专知
339+阅读 · 2017年9月17日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【SIGMOD2023】大规模地理空间分析:问题、挑战与机遇,
专知会员服务
20+阅读 · 2023年7月9日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员