Open-Set Domain Adaptation for Semantic Segmentation (OSDA-SS) presents a significant challenge, as it requires both domain adaptation for known classes and the distinction of unknowns. Existing methods attempt to address both tasks within a single unified stage. We question this design, as the annotation imbalance between known and unknown classes often leads to negative transfer of known classes and underfitting for unknowns. To overcome these issues, we propose SATS, a Separating-then-Adapting Training Strategy, which addresses OSDA-SS through two sequential steps: known/unknown separation and unknown-aware domain adaptation. By providing the model with more accurate and well-aligned unknown classes, our method ensures a balanced learning of discriminative features for both known and unknown classes, steering the model toward discovering truly unknown objects. Additionally, we present hard unknown exploration, an innovative data augmentation method that exposes the model to more challenging unknowns, strengthening its ability to capture more comprehensive understanding of target unknowns. We evaluate our method on public OSDA-SS benchmarks. Experimental results demonstrate that our method achieves a substantial advancement, with a +3.85% H-Score improvement for GTA5-to-Cityscapes and +18.64% for SYNTHIA-to-Cityscapes, outperforming previous state-of-the-art methods.


翻译:开放集域自适应语义分割(OSDA-SS)提出了一个重大挑战,因为它既需要对已知类别进行域适应,又需要区分未知类别。现有方法试图在单一统一阶段内同时处理这两项任务。我们质疑这种设计,因为已知类别与未知类别之间的标注不平衡往往导致已知类别的负迁移以及未知类别的欠拟合。为克服这些问题,我们提出了SATS(分离后自适应训练策略),该策略通过两个顺序步骤解决OSDA-SS问题:已知/未知分离和未知感知域适应。通过为模型提供更准确且对齐良好的未知类别,我们的方法确保了对已知和未知类别判别特征的平衡学习,引导模型发现真正的未知对象。此外,我们提出了硬未知探索——一种创新的数据增强方法,使模型暴露于更具挑战性的未知样本,从而增强其捕获对目标未知类别更全面理解的能力。我们在公开的OSDA-SS基准上评估了我们的方法。实验结果表明,我们的方法取得了显著进步,在GTA5到Cityscapes上实现了+3.85%的H-Score提升,在SYNTHIA到Cityscapes上实现了+18.64%的提升,超越了先前的最先进方法。

0
下载
关闭预览

相关内容

零训练开放词汇语义分割综述
专知会员服务
11+阅读 · 2025年5月31日
【AAAI2023】面向领域自适应语义分割的几何感知网络
专知会员服务
21+阅读 · 2022年12月7日
专知会员服务
14+阅读 · 2021年10月13日
【AAAI2021】基于内容迁移的无监督领域自适应语义分割
专知会员服务
18+阅读 · 2020年12月25日
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
用Attention玩转CV,一文总览自注意力语义分割进展
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
49+阅读 · 2019年5月29日
DL | 语义分割综述
机器学习算法与Python学习
58+阅读 · 2019年3月13日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
语义分割如何「拉关系」?
计算机视觉life
11+阅读 · 2019年2月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Arxiv
0+阅读 · 1月15日
Arxiv
0+阅读 · 1月14日
VIP会员
相关VIP内容
零训练开放词汇语义分割综述
专知会员服务
11+阅读 · 2025年5月31日
【AAAI2023】面向领域自适应语义分割的几何感知网络
专知会员服务
21+阅读 · 2022年12月7日
专知会员服务
14+阅读 · 2021年10月13日
【AAAI2021】基于内容迁移的无监督领域自适应语义分割
专知会员服务
18+阅读 · 2020年12月25日
相关资讯
【资源】领域自适应相关论文、代码分享
专知
32+阅读 · 2019年10月12日
用Attention玩转CV,一文总览自注意力语义分割进展
CVPR 2019 Oral 论文解读 | 无监督域适应语义分割
AI科技评论
49+阅读 · 2019年5月29日
DL | 语义分割综述
机器学习算法与Python学习
58+阅读 · 2019年3月13日
领域自适应学习论文大列表
专知
71+阅读 · 2019年3月2日
语义分割如何「拉关系」?
计算机视觉life
11+阅读 · 2019年2月15日
迁移学习之Domain Adaptation
全球人工智能
18+阅读 · 2018年4月11日
语义分割+视频分割开源代码集合
极市平台
35+阅读 · 2018年3月5日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员