Airborne laser scanning (ALS) point cloud semantic segmentation is a fundamental task for large-scale 3D scene understanding. Fixed models deployed in real-world scenarios often suffer from performance degradation due to continuous domain shifts caused by environmental and sensor changes. Continuous Test-Time Adaptation (CTTA) enables adaptation to evolving unlabeled domains, but its application to ALS point clouds remains underexplored, hindered by the lack of benchmarks and the risks of catastrophic forgetting and error accumulation. To address these challenges, we propose APCoTTA (ALS Point cloud Continuous Test-Time Adaptation), a novel CTTA framework tailored for ALS point cloud semantic segmentation. APCoTTA consists of three key components. First, we adapt a gradient-driven layer selection mechanism for ALS point clouds, selectively updating low-confidence layers while freezing stable ones to preserve source knowledge and mitigate catastrophic forgetting. Second, an entropy-based consistency loss discards unreliable samples and enforces consistency regularization solely on reliable ones, effectively reducing error accumulation and improving adaptation stability. Third, a random parameter interpolation mechanism stochastically blends adapted parameters with source model parameters, further balancing target adaptation and source knowledge retention. Finally, we construct two benchmarks, ISPRSC and H3DC, to address the lack of CTTA benchmarks for ALS point cloud segmentation. Extensive experiments demonstrate that APCoTTA achieves superior performance on both benchmarks, improving mIoU by approximately 9\% and 14\% over direct inference. The new benchmarks and code are available at https://github.com/Gaoyuan2/APCoTTA.


翻译:机载激光扫描(ALS)点云语义分割是大规模三维场景理解的基础任务。部署于真实场景的固定模型常因环境与传感器变化引起的持续域偏移而遭受性能下降。持续测试时自适应(CTTA)能够适应不断演化的无标注目标域,但其在ALS点云中的应用仍待深入探索,主要受限于基准数据集的缺失以及灾难性遗忘与误差累积的风险。为应对这些挑战,本文提出APCoTTA(ALS点云持续测试时自适应),一种专为ALS点云语义分割设计的新型CTTA框架。APCoTTA包含三个核心组件:首先,我们针对ALS点云改进梯度驱动的层选择机制,选择性更新低置信度层并冻结稳定层,以保护源域知识并缓解灾难性遗忘;其次,基于熵的一致性损失通过剔除不可靠样本并仅在可靠样本上实施一致性正则化,有效降低误差累积并提升自适应稳定性;第三,随机参数插值机制通过随机混合自适应参数与源模型参数,进一步平衡目标域适应与源域知识保持。最后,我们构建了ISPRSC与H3DC两个基准数据集,以填补ALS点云分割领域CTTA基准的空白。大量实验表明,APCoTTA在两个基准上均取得优越性能,相较于直接推理将mIoU分别提升约9%与14%。新基准数据集与代码已发布于https://github.com/Gaoyuan2/APCoTTA。

0
下载
关闭预览

相关内容

根据激光测量原理得到的点云,包括三维坐标(XYZ)和激光反射强度(Intensity)。 根据摄影测量原理得到的点云,包括三维坐标(XYZ)和颜色信息(RGB)。 结合激光测量和摄影测量原理得到点云,包括三维坐标(XYZ)、激光反射强度(Intensity)和颜色信息(RGB)。 在获取物体表面每个采样点的空间坐标后,得到的是一个点的集合,称之为“点云”(Point Cloud)
稀疏点云感知的表示学习
专知会员服务
7+阅读 · 2月9日
CVPR 2022 | 点云分割的对比边界学习
专知会员服务
16+阅读 · 2022年4月30日
CVPR2022 | Sparse Transformer刷新点云目标检测的SOTA
专知会员服务
25+阅读 · 2022年3月9日
专知会员服务
16+阅读 · 2021年4月3日
专知会员服务
75+阅读 · 2021年1月16日
CVPR 2019 | PointConv:在点云上高效实现卷积操作
机器之心
10+阅读 · 2019年4月21日
【泡泡点云时空】集成深度语义分割的3D点云配准
泡泡机器人SLAM
28+阅读 · 2018年11月24日
基于几何特征的激光雷达地面点云分割
泡泡机器人SLAM
15+阅读 · 2018年4月1日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员