In this paper, we revisit multimodal few-shot 3D point cloud semantic segmentation (FS-PCS), identifying a conflict in "Fuse-then-Refine" paradigms: the "Plasticity-Stability Dilemma." In addition, CLIP's inter-class confusion can result in semantic blindness. To address these issues, we present the Decoupled-experts Arbitration Few-Shot SegNet (DA-FSS), a model that effectively distinguishes between semantic and geometric paths and mutually regularizes their gradients to achieve better generalization. DA-FSS employs the same backbone and pre-trained text encoder as MM-FSS to generate text embeddings, which can increase free modalities' utilization rate and better leverage each modality's information space. To achieve this, we propose a Parallel Expert Refinement module to generate each modal correlation. We also propose a Stacked Arbitration Module (SAM) to perform convolutional fusion and arbitrate correlations for each modality pathway. The Parallel Experts decouple two paths: a Geometric Expert maintains plasticity, and a Semantic Expert ensures stability. They are coordinated via a Decoupled Alignment Module (DAM) that transfers knowledge without propagating confusion. Experiments on popular datasets (S3DIS, ScanNet) demonstrate the superiority of DA-FSS over MM-FSS. Meanwhile, geometric boundaries, completeness, and texture differentiation are all superior to the baseline. The code is available at: https://github.com/MoWenQAQ/DA-FSS.


翻译:本文重新审视了多模态少样本三维点云语义分割(FS-PCS),识别出“先融合后细化”范式中的一个冲突:“可塑性-稳定性困境”。此外,CLIP的类间混淆可能导致语义盲区。为解决这些问题,我们提出了解耦专家仲裁少样本分割网络(DA-FSS),该模型能有效区分语义路径与几何路径,并通过相互正则化其梯度以实现更好的泛化能力。DA-FSS采用与MM-FSS相同的主干网络和预训练文本编码器来生成文本嵌入,这可以提高自由模态的利用率并更好地利用每个模态的信息空间。为此,我们提出了并行专家细化模块来生成各模态相关性。我们还提出了堆叠仲裁模块(SAM)来执行卷积融合并对各模态路径的相关性进行仲裁。并行专家解耦了两条路径:几何专家保持可塑性,语义专家确保稳定性。它们通过一个解耦对齐模块(DAM)进行协调,该模块能在不传播混淆的情况下传递知识。在主流数据集(S3DIS、ScanNet)上的实验证明了DA-FSS相对于MM-FSS的优越性。同时,在几何边界、完整性和纹理区分度方面均优于基线。代码发布于:https://github.com/MoWenQAQ/DA-FSS。

0
下载
关闭预览

相关内容

【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
21+阅读 · 2022年4月20日
【CVPR2022】整合少样本学习的分类和分割
专知会员服务
28+阅读 · 2022年3月31日
专知会员服务
75+阅读 · 2021年1月16日
本周精选共读论文《计算机视觉图像分割》六篇
人工智能前沿讲习班
10+阅读 · 2019年4月1日
【泡泡点云时空】集成深度语义分割的3D点云配准
泡泡机器人SLAM
28+阅读 · 2018年11月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员