Remote sensing change detection (RSCD) aims to identify surface changes across bi-temporal satellite images. Most previous methods rely solely on mask supervision, which effectively guides spatial localization but provides limited constraints on the temporal semantic transitions. Consequently, they often produce spatially coherent predictions while still suffering from unresolved semantic inconsistencies. To address this limitation, we propose TaCo, a spatio-temporal semantic consistent network, which enriches the existing mask-supervised framework with a spatio-temporal semantic joint constraint. TaCo conceptualizes change as a semantic transition between bi-temporal states, in which one temporal feature representation can be derived from the other via dedicated transition features. To realize this, we introduce a Text-guided Transition Generator that integrates textual semantics with bi-temporal visual features to construct the cross-temporal transition features. In addition, we propose a spatio-temporal semantic joint constraint consisting of bi-temporal reconstruct constraints and a transition constraint: the former enforces alignment between reconstructed and original features, while the latter enhances discrimination for changes. This design can yield substantial performance gains without introducing any additional computational overhead during inference. Extensive experiments on six public datasets, spanning both binary and semantic change detection tasks, demonstrate that TaCo consistently achieves SOTA performance.


翻译:遥感变化检测旨在识别双时相卫星影像间的地表变化。以往方法多仅依赖掩码监督,虽能有效引导空间定位,但对时序语义转换的约束有限,导致预测结果常呈现空间一致性却仍存在未解决的语义不一致问题。为克服此局限,本文提出TaCo——一种时空语义一致性网络,通过引入时空语义联合约束来增强现有掩码监督框架。TaCo将变化概念化为双时相状态间的语义转换,其中一时刻的特征表示可通过专用转换特征从另一时刻推导得出。为此,我们设计了文本引导的转换生成器,将文本语义与双时相视觉特征融合以构建跨时相转换特征。此外,我们提出由双时相重构约束与转换约束组成的时空语义联合约束:前者强制重构特征与原始特征对齐,后者则增强对变化的判别能力。该设计能在推理阶段不引入额外计算开销的前提下实现显著的性能提升。在涵盖二元与语义变化检测任务的六个公开数据集上的大量实验表明,TaCo持续取得最先进的性能表现。

0
下载
关闭预览

相关内容

TACO:ACM Transactions on Architecture and Code Optimization。 Explanation:架构和代码优化的ACM事务。 Publisher:ACM。 SIT:http://dblp.uni-trier.de/db/journals/taco/
【CVPR 2021】变换器跟踪TransT: Transformer Tracking
专知会员服务
22+阅读 · 2021年4月20日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员