Point cloud completion aims to recover complete 3D geometry from partial observations caused by limited viewpoints and occlusions. Existing learning-based works, including 3D Convolutional Neural Network (CNN)-based, point-based, and Transformer-based methods, have achieved strong performance on synthetic benchmarks. However, due to the limitations of modality, scalability, and generative capacity, their generalization to novel objects and real-world scenarios remains challenging. In this paper, we propose MGPC, a generalizable multimodal point cloud completion framework that integrates point clouds, RGB images, and text within a unified architecture. MGPC introduces an innovative modality dropout strategy, a Transformer-based fusion module, and a novel progressive generator to improve robustness, scalability, and geometric modeling capability. We further develop an automatic data generation pipeline and construct MGPC-1M, a large-scale benchmark with over 1,000 categories and one million training pairs. Extensive experiments on MGPC-1M and in-the-wild data demonstrate that the proposed method consistently outperforms prior baselines and exhibits strong generalization under real-world conditions.


翻译:点云补全旨在从由有限视角和遮挡引起的部分观测中恢复完整的三维几何结构。现有的基于学习的方法,包括基于三维卷积神经网络(CNN)、基于点的方法以及基于Transformer的方法,在合成基准测试中已取得优异性能。然而,由于模态、可扩展性和生成能力的限制,这些方法对新物体和真实场景的泛化能力仍面临挑战。本文提出MGPC,一种可泛化的多模态点云补全框架,将点云、RGB图像和文本集成于统一架构中。MGPC引入了创新的模态丢弃策略、基于Transformer的融合模块以及新颖的渐进生成器,以提升鲁棒性、可扩展性和几何建模能力。我们进一步开发了自动数据生成流程,并构建了MGPC-1M——一个包含超过1000个类别、一百万训练对的大规模基准数据集。在MGPC-1M和真实场景数据上的大量实验表明,所提方法持续优于现有基线,并在真实条件下展现出强大的泛化能力。

0
下载
关闭预览

相关内容

【WWW2024】博弈论式反事实解释图神经网络
专知会员服务
32+阅读 · 2024年2月17日
【CVPR2022】MSDN: 零样本学习的互语义蒸馏网络
专知会员服务
21+阅读 · 2022年3月8日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员