Generating high-fidelity, seamless textures directly on 3D surfaces, what we term 3D-native texturing, remains a fundamental open challenge, with the potential to overcome long-standing limitations of UV-based and multi-view projection methods. However, existing native approaches are constrained by the absence of a powerful and versatile latent representation, which severely limits the fidelity and generality of their generated textures. We identify this representation gap as the principal barrier to further progress. We introduce LaFiTe, a framework that addresses this challenge by learning to generate textures as a 3D generative sparse latent color field. At its core, LaFiTe employs a variational autoencoder (VAE) to encode complex surface appearance into a sparse, structured latent space, which is subsequently decoded into a continuous color field. This representation achieves unprecedented fidelity, exceeding state-of-the-art methods by >10 dB PSNR in reconstruction, by effectively disentangling texture appearance from mesh topology and UV parameterization. Building upon this strong representation, a conditional rectified-flow model synthesizes high-quality, coherent textures across diverse styles and geometries. Extensive experiments demonstrate that LaFiTe not only sets a new benchmark for 3D-native texturing but also enables flexible downstream applications such as material synthesis and texture super-resolution, paving the way for the next generation of 3D content creation workflows.


翻译:直接在三维表面上生成高保真、无缝的纹理——我们称之为三维原生纹理生成——仍然是一个根本性的开放挑战,其潜力在于克服基于UV和多视图投影方法的长期局限。然而,现有原生方法受限于缺乏强大且通用的潜在表示,这严重限制了生成纹理的保真度和泛化性。我们将此表示差距视为进一步进展的主要障碍。为此,我们提出了LaFiTe框架,通过学习将纹理生成为三维生成式稀疏潜在颜色场来解决这一挑战。LaFiTe的核心采用变分自编码器(VAE)将复杂的表面外观编码为稀疏、结构化的潜在空间,随后解码为连续颜色场。该表示通过有效解耦纹理外观与网格拓扑及UV参数化,实现了前所未有的保真度,在重建任务中PSNR指标超过现有最优方法>10 dB。基于这一强大表示,条件修正流模型能够跨多样风格和几何结构合成高质量、连贯的纹理。大量实验表明,LaFiTe不仅为三维原生纹理生成设立了新基准,还支持灵活的下游应用,如材质合成和纹理超分辨率,为下一代三维内容创作流程开辟了道路。

0
下载
关闭预览

相关内容

图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员