3D editing is a fundamental capability for scalable 3D content creation. While image editing has rapidly evolved toward large-scale feedforward generative paradigms, 3D AI generation remains dominated by training-free editing pipelines. A central challenge of feedforward 3D editing lies in the lack of high-quality paired supervision. Editable 3D assets require simultaneous preservation of geometry, multi-view consistency, structural coherence, and localized edit controllability. Existing 3D editing datasets often rely on independently generated assets, image-mediated reconstruction or narrow edit taxonomies, leading to inaccurate localization, weak preservation, blurred edit boundaries, and limited semantic consistency. In this work, we introduce a new perspective: scalable feedforward 3D editing should be learned from semantic-part transformations. Based on this insight, we propose Pxform, a high-quality 3D editing dataset with over 100K consistent before/after editing pairs across seven edit types. Instead of treating objects as unstructured shapes, our pipeline grounds edits directly in semantic 3D parts. Built upon Pxform, we further propose PartFlow, a feedforward 3D editing network that injects source-aware latent control into pretrained 3D generative priors. PartFlow introduces mask-aware velocity preservation and render-space consistency supervision to jointly improve edit fidelity and source preservation, while requiring no 3D edit mask during inference. Extensive experiments demonstrate that high-quality semantic-part supervision substantially improves scalable 3D editing, enabling PartFlow to achieve state-of-the-art performance on both geometric and appearance editing benchmarks.


翻译:3D编辑是实现可扩展3D内容创作的基础能力。尽管图像编辑已迅速向大规模前馈生成范式发展,但3D AI生成仍以无需训练的编辑流程为主导。前馈3D编辑的核心挑战在于缺乏高质量的配对监督数据。可编辑的3D资产需同时保持几何结构、多视图一致性、结构连贯性及局部编辑可控性。现有3D编辑数据集通常依赖独立生成的资产、图像介导的重建或狭窄的编辑分类,导致定位不精确、保持能力弱、编辑边界模糊以及语义一致性受限。本研究提出新视角:可扩展的前馈3D编辑应从语义部件变换中学习。基于该洞察,我们提出Pxform——一个包含超过10万对一致编辑前后样本(涵盖七种编辑类型)的高质量3D编辑数据集。该流程不将对象视为无结构形状,而是直接将编辑锚定于语义3D部件。基于Pxform,我们进一步提出PartFlow——一种前馈3D编辑网络,它将源感知的隐空间控制注入预训练的3D生成先验中。PartFlow引入掩膜感知的速度保持与渲染空间一致性监督,协同提升编辑保真度与源物保持能力,且在推理阶段无需3D编辑掩膜。大量实验表明,高质量的语义部件监督显著提升了可扩展3D编辑性能,使PartFlow在几何与外观编辑基准测试中均达到最先进水平。

0
下载
关闭预览

相关内容

3D是英文“Three Dimensions”的简称,中文是指三维、三个维度、三个坐标,即有长、有宽、有高,换句话说,就是立体的,是相对于只有长和宽的平面(2D)而言。
前馈式三维场景建模
专知会员服务
13+阅读 · 4月17日
【斯坦福博士论文】可控生成与编辑的三维神经表示,
专知会员服务
20+阅读 · 2024年12月8日
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
【KAUST博士论文】朝向可扩展的深度3D感知与生成,109页pdf
多图带你读懂 Transformers 的工作原理
AI研习社
10+阅读 · 2019年3月18日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
Image Captioning 36页最新综述, 161篇参考文献
专知
90+阅读 · 2018年10月23日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
9+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
7+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
7+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
10+阅读 · 8月1日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员