3D editing has emerged as a critical research area to provide users with flexible control over 3D assets. While current editing approaches predominantly focus on 3D Gaussian Splatting or multi-view images, the direct editing of 3D meshes remains underexplored. Prior attempts, such as VoxHammer, rely on voxel-based representations that suffer from limited resolution and necessitate labor-intensive 3D mask. To address these limitations, we propose \textbf{VecSet-Edit}, the first pipeline that leverages the high-fidelity VecSet Large Reconstruction Model (LRM) as a backbone for mesh editing. Our approach is grounded on a analysis of the spatial properties in VecSet tokens, revealing that token subsets govern distinct geometric regions. Based on this insight, we introduce Mask-guided Token Seeding and Attention-aligned Token Gating strategies to precisely localize target regions using only 2D image conditions. Also, considering the difference between VecSet diffusion process versus voxel we design a Drift-aware Token Pruning to reject geometric outliers during the denoising process. Finally, our Detail-preserving Texture Baking module ensures that we not only preserve the geometric details of original mesh but also the textural information. More details can be found in our project page: https://github.com/BlueDyee/VecSet-Edit/tree/main


翻译:三维编辑已成为一个关键研究领域,旨在为用户提供对三维资产的灵活控制。当前编辑方法主要集中于三维高斯泼溅或多视图图像,而直接编辑三维网格的研究仍显不足。先前尝试(如VoxHammer)依赖基于体素的表示,存在分辨率受限且需要费力的三维掩码标注等问题。为克服这些限制,我们提出**VecSet-Edit**——首个以高保真VecSet大型重建模型(LRM)为骨干的网格编辑流程。我们的方法基于对VecSet令牌空间特性的分析,发现令牌子集控制着不同的几何区域。基于此洞见,我们引入掩码引导令牌播种与注意力对齐令牌门控策略,仅使用二维图像条件即可精确定位目标区域。同时,考虑到VecSet扩散过程与体素方法的差异,我们设计了漂移感知令牌剪枝机制,在去噪过程中剔除几何异常值。最后,我们的细节保持纹理烘焙模块确保不仅保留原始网格的几何细节,还保留纹理信息。更多细节请访问项目页面:https://github.com/BlueDyee/VecSet-Edit/tree/main

0
下载
关闭预览

相关内容

用于三维医学影像理解的综合语言–图像预训练
专知会员服务
7+阅读 · 2025年11月5日
【NeurIPS2024】迈向统一的多模态编辑与增强的知识协作
专知会员服务
20+阅读 · 2024年10月1日
视频文本预训练简述
专知会员服务
22+阅读 · 2022年7月24日
【北京大学】CVPR 2020 | PQ-NET:序列化的三维形状生成网络
图神经网络最近这么火,不妨看看我们精选的这七篇
人工智能前沿讲习班
37+阅读 · 2018年12月10日
如何设计基于深度学习的图像压缩算法
论智
41+阅读 · 2018年4月26日
深度图像先验:无需学习即可生成新图像
论智
45+阅读 · 2017年12月4日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员