Cross-domain panoramic semantic segmentation has attracted growing interest as it enables comprehensive 360° scene understanding for real-world applications. However, it remains particularly challenging due to severe geometric Field of View (FoV) distortions and inconsistent open-set semantics across domains. In this work, we formulate an open-set domain adaptation setting, and propose Extrapolative Domain Adaptive Panoramic Segmentation (EDA-PSeg) framework that trains on local perspective views and tests on full 360° panoramic images, explicitly tackling both geometric FoV shifts across domains and semantic uncertainty arising from previously unseen classes. To this end, we propose the Euler-Margin Attention (EMA), which introduces an angular margin to enhance viewpoint-invariant semantic representation, while performing amplitude and phase modulation to improve generalization toward unseen classes. Additionally, we design the Graph Matching Adapter (GMA), which builds high-order graph relations to align shared semantics across FoV shifts while effectively separating novel categories through structural adaptation. Extensive experiments on four benchmark datasets under camera-shift, weather-condition, and open-set scenarios demonstrate that EDA-PSeg achieves state-of-the-art performance, robust generalization to diverse viewing geometries, and resilience under varying environmental conditions. The code is available at https://github.com/zyfone/EDA-PSeg.


翻译:跨域全景语义分割因其能够为现实应用提供全面的360°场景理解而日益受到关注。然而,由于严重的几何视场畸变以及跨域开放集语义的不一致性,该任务仍然极具挑战性。在本工作中,我们构建了一个开放集域自适应设定,并提出了外推式域自适应全景分割框架,该框架在局部透视视图上进行训练,并在完整的360°全景图像上进行测试,明确地解决了跨域的几何视场偏移以及由先前未见类别引起的语义不确定性。为此,我们提出了欧拉-间隔注意力机制,该机制引入角度间隔以增强视角不变的语义表示,同时执行幅度和相位调制以提高对未见类别的泛化能力。此外,我们设计了图匹配适配器,该适配器构建高阶图关系以对齐视场偏移中的共享语义,同时通过结构适配有效分离新类别。在相机偏移、天气条件和开放集场景下的四个基准数据集上的大量实验表明,EDA-PSeg实现了最先进的性能,对多样化观察几何具有鲁棒的泛化能力,并在变化的环境条件下表现出良好的适应性。代码可在 https://github.com/zyfone/EDA-PSeg 获取。

0
下载
关闭预览

相关内容

飞越鸿沟:从视角到全景视觉的综述
专知会员服务
24+阅读 · 2025年9月5日
基于Transformer的视觉分割技术进展
专知会员服务
20+阅读 · 2025年2月10日
【CVPR2023】基于文本到图像扩散模型的开放词汇全景分割
专知会员服务
33+阅读 · 2020年12月25日
本周精选共读论文《计算机视觉图像分割》六篇
人工智能前沿讲习班
10+阅读 · 2019年4月1日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
7+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
15+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
3+阅读 · 4月12日
相关VIP内容
飞越鸿沟:从视角到全景视觉的综述
专知会员服务
24+阅读 · 2025年9月5日
基于Transformer的视觉分割技术进展
专知会员服务
20+阅读 · 2025年2月10日
【CVPR2023】基于文本到图像扩散模型的开放词汇全景分割
专知会员服务
33+阅读 · 2020年12月25日
相关资讯
本周精选共读论文《计算机视觉图像分割》六篇
人工智能前沿讲习班
10+阅读 · 2019年4月1日
超像素、语义分割、实例分割、全景分割 傻傻分不清?
计算机视觉life
19+阅读 · 2018年11月27日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员