Modern forest monitoring workflows increasingly benefit from the growing availability of high-resolution satellite imagery and advances in deep learning. Two persistent challenges in this context are accurate pixel-level change detection and meaningful semantic change captioning for complex forest dynamics. While large language models (LLMs) are being adapted for interactive data exploration, their integration with vision-language models (VLMs) for remote sensing image change interpretation (RSICI) remains underexplored. To address this gap, we introduce an LLM-driven agent for integrated forest change analysis that supports natural language querying across multiple RSICI tasks. The proposed system builds upon a multi-level change interpretation (MCI) vision-language backbone with LLM-based orchestration. To facilitate adaptation and evaluation in forest environments, we further introduce the Forest-Change dataset, which comprises bi-temporal satellite imagery, pixel-level change masks, and multi-granularity semantic change captions generated using a combination of human annotation and rule-based methods. Experimental results show that the proposed system achieves mIoU and BLEU-4 scores of 67.10% and 40.17% on the Forest-Change dataset, and 88.13% and 34.41% on LEVIR-MCI-Trees, a tree-focused subset of LEVIR-MCI benchmark for joint change detection and captioning. These results highlight the potential of interactive, LLM-driven RSICI systems to improve accessibility, interpretability, and efficiency of forest change analysis. All data and code are publicly available at https://github.com/JamesBrockUoB/ForestChat.


翻译:现代森林监测工作流程日益受益于高分辨率卫星影像的普及与深度学习技术的进步。在此背景下,两个持续存在的挑战是:精确的像素级变化检测,以及针对复杂森林动态的有意义语义变化描述。尽管大语言模型(LLMs)正被逐步应用于交互式数据探索,但其与视觉-语言模型(VLMs)在遥感影像变化解译(RSICI)中的集成仍处于未充分探索阶段。为填补这一空白,我们提出了一种基于LLM驱动的代理系统,用于集成式森林变化分析,该系统支持跨多种RSICI任务的自然语言查询。所提出的系统构建于多层变化解译(MCI)视觉-语言骨干网络之上,并采用基于LLM的编排机制。为促进在森林环境中的适应与评估,我们进一步引入了Forest-Change数据集,该数据集包含双时相卫星影像、像素级变化掩膜以及通过人工标注与规则方法相结合生成的多粒度语义变化描述。实验结果表明,所提系统在Forest-Change数据集上实现了67.10%的平均交并比(mIoU)和40.17%的BLEU-4分数;在LEVIR-MCI-Trees(LEVIR-MCI基准测试中面向树木的子集,用于联合变化检测与描述)上则分别达到88.13%和34.41%。这些结果凸显了基于LLM驱动的交互式RSICI系统在提升森林变化分析的可及性、可解释性与效率方面的潜力。所有数据与代码已在https://github.com/JamesBrockUoB/ForestChat 公开提供。

0
下载
关闭预览

相关内容

赋能大型语言模型多领域资源挑战
专知会员服务
10+阅读 · 2025年6月10日
视觉语言建模遇见遥感:模型、数据集与前景展望
专知会员服务
17+阅读 · 2025年5月21日
《遥感时序视觉语言模型》全面综述
专知会员服务
30+阅读 · 2024年12月4日
大型视觉语言模型攻击综述:资源、进展与未来趋势
专知会员服务
33+阅读 · 2024年7月11日
《面向视觉语言地理基础模型》综述
专知会员服务
47+阅读 · 2024年6月15日
视觉语言建模导论
专知会员服务
38+阅读 · 2024年5月30日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
重新思考无人机时代的生存能力
专知会员服务
3+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
3+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
5+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
相关VIP内容
赋能大型语言模型多领域资源挑战
专知会员服务
10+阅读 · 2025年6月10日
视觉语言建模遇见遥感:模型、数据集与前景展望
专知会员服务
17+阅读 · 2025年5月21日
《遥感时序视觉语言模型》全面综述
专知会员服务
30+阅读 · 2024年12月4日
大型视觉语言模型攻击综述:资源、进展与未来趋势
专知会员服务
33+阅读 · 2024年7月11日
《面向视觉语言地理基础模型》综述
专知会员服务
47+阅读 · 2024年6月15日
视觉语言建模导论
专知会员服务
38+阅读 · 2024年5月30日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员