Point cloud completion aims to recover complete 3D geometry from partial observations caused by limited viewpoints and occlusions. Existing learning-based works, including 3D Convolutional Neural Network (CNN)-based, point-based, and Transformer-based methods, have achieved strong performance on synthetic benchmarks. However, due to the limitations of modality, scalability, and generative capacity, their generalization to novel objects and real-world scenarios remains challenging. In this paper, we propose MGPC, a generalizable multimodal point cloud completion framework that integrates point clouds, RGB images, and text within a unified architecture. MGPC introduces an innovative modality dropout strategy, a Transformer-based fusion module, and a novel progressive generator to improve robustness, scalability, and geometric modeling capability. We further develop an automatic data generation pipeline and construct MGPC-1M, a large-scale benchmark with over 1,000 categories and one million training pairs. Extensive experiments on MGPC-1M and in-the-wild data demonstrate that the proposed method consistently outperforms prior baselines and exhibits strong generalization under real-world conditions.


翻译:点云补全旨在从由有限视角和遮挡引起的部分观测中恢复完整的三维几何结构。现有的基于学习的方法,包括基于三维卷积神经网络(CNN)、基于点的方法以及基于Transformer的方法,在合成基准测试中已取得优异性能。然而,由于模态、可扩展性和生成能力的限制,这些方法对新物体和真实场景的泛化能力仍面临挑战。本文提出MGPC,一种可泛化的多模态点云补全框架,将点云、RGB图像和文本集成于统一架构中。MGPC引入了创新的模态丢弃策略、基于Transformer的融合模块以及新颖的渐进生成器,以提升鲁棒性、可扩展性和几何建模能力。我们进一步开发了自动数据生成流程,并构建了MGPC-1M——一个包含超过1000个类别、一百万训练对的大规模基准数据集。在MGPC-1M和真实场景数据上的大量实验表明,所提方法持续优于现有基线,并在真实条件下展现出强大的泛化能力。

0
下载
关闭预览

相关内容

3D点云基础模型:综述与展望
专知会员服务
17+阅读 · 2025年1月31日
【牛津大学博士论文】学习理解大规模3D点云,191页pdf
专知会员服务
38+阅读 · 2023年6月22日
【CVPR 2023】虚拟稀疏卷积的多模态三维目标检测
专知会员服务
25+阅读 · 2023年3月11日
专知会员服务
30+阅读 · 2020年9月21日
CVPR2019教程《胶囊网络(Capsule Networks)综述》,附93页PPT
GAN生成式对抗网络
29+阅读 · 2019年6月21日
【泡泡点云时空】PointConv: 3D点云的深度卷积网络
泡泡机器人SLAM
23+阅读 · 2019年6月12日
PointNet系列论文解读
人工智能前沿讲习班
17+阅读 · 2019年5月3日
CVPR 2019 | PointConv:在点云上高效实现卷积操作
机器之心
10+阅读 · 2019年4月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
0+阅读 · 1月22日
VIP会员
相关VIP内容
3D点云基础模型:综述与展望
专知会员服务
17+阅读 · 2025年1月31日
【牛津大学博士论文】学习理解大规模3D点云,191页pdf
专知会员服务
38+阅读 · 2023年6月22日
【CVPR 2023】虚拟稀疏卷积的多模态三维目标检测
专知会员服务
25+阅读 · 2023年3月11日
专知会员服务
30+阅读 · 2020年9月21日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员