3D style transfer enables the creation of visually expressive 3D content, enriching the visual appearance of 3D scenes and objects. However, existing VGG- and CLIP-based methods struggle to model multi-view consistency within the model itself, while diffusion-based approaches can capture such consistency but rely on denoising directions, leading to unstable training. To address these limitations, we propose DiffStyle3D, a novel diffusion-based paradigm for 3DGS style transfer that directly optimizes in the latent space. Specifically, we introduce an Attention-Aware Loss that performs style transfer by aligning style features in the self-attention space, while preserving original content through content feature alignment. Inspired by the geometric invariance of 3D stylization, we propose a Geometry-Guided Multi-View Consistency method that integrates geometric information into self-attention to enable cross-view correspondence modeling. Based on geometric information, we additionally construct a geometry-aware mask to prevent redundant optimization in overlapping regions across views, which further improves multi-view consistency. Extensive experiments show that DiffStyle3D outperforms state-of-the-art methods, achieving higher stylization quality and visual realism.


翻译:三维风格迁移能够创建视觉表现力丰富的三维内容,从而增强三维场景与物体的视觉外观。然而,现有的基于VGG和CLIP的方法难以在模型内部建模多视角一致性,而基于扩散的方法虽能捕捉此类一致性,却依赖于去噪方向,导致训练不稳定。为应对这些局限性,我们提出了DiffStyle3D,一种用于三维高斯风格化的新型扩散范式,可直接在隐空间中进行优化。具体而言,我们引入了一种注意力感知损失,该损失通过在自注意力空间中对齐风格特征来执行风格迁移,同时通过内容特征对齐保留原始内容。受三维风格化几何不变性的启发,我们提出了一种几何引导的多视角一致性方法,将几何信息整合到自注意力中,以实现跨视角对应关系建模。基于几何信息,我们还构建了一个几何感知掩码,以防止跨视角重叠区域的冗余优化,从而进一步提升多视角一致性。大量实验表明,DiffStyle3D在风格化质量和视觉真实感方面均优于现有先进方法。

0
下载
关闭预览

相关内容

144页ppt《扩散模型》,Google DeepMind Sander Dieleman
专知会员服务
50+阅读 · 2025年11月21日
基于神经网络的图像风格迁移算法综述
专知会员服务
12+阅读 · 2025年5月29日
《3D神经风格化进展》综述
专知会员服务
28+阅读 · 2023年12月24日
【CVPR2023】DiffCollage:用扩散模型并行生成大量内容
专知会员服务
28+阅读 · 2023年4月4日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
计算机视觉方向简介 | 三维重建技术概述
计算机视觉life
26+阅读 · 2019年6月13日
简述多种降维算法
算法与数学之美
11+阅读 · 2018年9月23日
风格迁移原理及tensorflow实现-附代码
机器学习研究会
19+阅读 · 2018年3月25日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员