We introduce SegviGen, a framework that repurposes native 3D generative models for 3D part segmentation. Existing pipelines either lift strong 2D priors into 3D via distillation or multi-view mask aggregation, often suffering from cross-view inconsistency and blurred boundaries, or explore native 3D discriminative segmentation, which typically requires large-scale annotated 3D data and substantial training resources. In contrast, SegviGen leverages the structured priors encoded in pretrained 3D generative model to induce segmentation through distinctive part colorization, establishing a novel and efficient framework for part segmentation. Specifically, SegviGen encodes a 3D asset and predicts part-indicative colors on active voxels of a geometry-aligned reconstruction. It supports interactive part segmentation, full segmentation, and full segmentation with 2D guidance in a unified framework. Extensive experiments show that SegviGen improves over the prior state of the art by 40% on interactive part segmentation and by 15% on full segmentation, while using only 0.32% of the labeled training data. It demonstrates that pretrained 3D generative priors transfer effectively to 3D part segmentation, enabling strong performance with limited supervision. See our project page at https://fenghora.github.io/SegviGen-Page/.


翻译:我们提出了SegviGen框架,该框架将原生三维生成模型重新用于三维部件分割。现有方法通常通过蒸馏或多视角掩码聚合将强二维先验提升至三维,常面临跨视角不一致性和边界模糊问题;或探索原生三维判别式分割,但通常需要大规模标注三维数据和大量训练资源。相比之下,SegviGen利用预训练三维生成模型中编码的结构化先验,通过差异化部件着色实现分割,建立了一种新颖高效的部件分割框架。具体而言,SegviGen对三维资产进行编码,并在几何对齐重建的活跃体素上预测部件指示性颜色。该框架在统一架构中支持交互式部件分割、完整分割以及二维引导的完整分割。大量实验表明,SegviGen在交互式部件分割任务上比现有最优方法提升40%,在完整分割任务上提升15%,且仅使用0.32%的标注训练数据。这证明预训练三维生成先验能有效迁移至三维部件分割任务,在有限监督条件下实现卓越性能。项目页面详见:https://fenghora.github.io/SegviGen-Page/。

0
下载
关闭预览

相关内容

【ETHZ博士论文】二维和三维生成模型在现实世界约束下
专知会员服务
17+阅读 · 2024年9月25日
【CVPR2024】VP3D:释放二维视觉提示以进行文本到三维生成
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
超详细干货 | 三维语义分割概述及总结
计算机视觉life
33+阅读 · 2019年3月19日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
DeepSeek 版Claude Code,免费小白安装教程来了!
专知会员服务
11+阅读 · 5月5日
《美空军条令出版物 2-0:情报(2026版)》
专知会员服务
14+阅读 · 5月5日
帕兰提尔 Gotham:一个游戏规则改变器
专知会员服务
9+阅读 · 5月5日
【综述】 机器人学习中的世界模型:全面综述
专知会员服务
14+阅读 · 5月4日
伊朗的导弹-无人机行动及其对美国威慑的影响
相关VIP内容
【ETHZ博士论文】二维和三维生成模型在现实世界约束下
专知会员服务
17+阅读 · 2024年9月25日
【CVPR2024】VP3D:释放二维视觉提示以进行文本到三维生成
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员