Large-scale, high-quality dynamic 3D (4D) assets are essential for learning physically grounded representations, but remain costly to capture and annotate at scale. This limits the viability of supervised 4D learning and motivates zero-shot text-to-4D generation leveraging pretrained diffusion priors. To model complex dynamics, prior methods typically adopt implicit 3D representations (e.g., NeRFs or 3DGS) for their deformation capacity. However, their implicit nature provides limited control over surface topology, which hinders high-fidelity geometry and makes temporally coherent surface reconstruction challenging. To address these limitations, we explore zero-shot text-to-4D mesh generation. However, a structural mismatch arises when combining diffusion-based guidance with topology-constrained meshes: the guidance is noisy and spatially inconsistent, while meshes impose severe topological constraints, making direct vertex-level deformation unstable. In this paper, we introduce TextMesh4D, the first zero-shot framework for text-to-4D that directly generates dynamic meshes by addressing the above challenge at two complementary levels. Geometrically, we shift deformation modeling from vertices to faces via a Jacobian Deformation Field (JDF), enabling topology-aware surface reconstruction through an integrability-enforcing integration formulation. Semantically, we propose a Local-Global Semantic Regularizer (LGSR) that preserves identity over time by jointly constraining local deformation plausibility and global shape consistency. Extensive experiments demonstrate state-of-the-art temporal consistency, structural fidelity, and visual quality, while remaining efficient on a single 24GB GPU.


翻译:大规模、高质量的动态三维(4D)资产对于学习基于物理的表达至关重要,但其获取和标注成本高昂,限制了监督式4D学习的可行性,从而推动了利用预训练扩散先验的零样本文本到4D生成方法的发展。为建模复杂动态,现有方法通常采用隐式3D表示(如NeRF或3DGS)以利用其变形能力。然而,隐式表示对表面拓扑的控制有限,难以实现高保真几何结构,且使得时间一致的表面重构面临挑战。针对上述限制,我们探索了零样本文本到4D网格生成。然而,当结合基于扩散的引导与拓扑约束网格时,出现了结构不匹配问题:引导信号具有噪声且空间不一致,而网格施加了严格的拓扑约束,导致直接进行顶点级变形不稳定。本文提出TextMesh4D——首个直接生成动态网格的文本到4D零样本框架,通过两个互补层面解决上述挑战。在几何层面,我们引入雅可比变形场(JDF)将变形建模从顶点迁移至面片,并通过可积性约束的积分公式实现拓扑感知的表面重构;在语义层面,提出局部-全局语义正则化器(LGSR),通过联合约束局部变形合理性与全局形状一致性来保持时序身份特征。大量实验表明,该方法在单张24GB GPU上高效运行的同时,在时间一致性、结构保真度和视觉质量方面均达到最优水平。

0
下载
关闭预览

相关内容

3D形状生成:综述
专知会员服务
18+阅读 · 2025年7月7日
【CVPR2024】VP3D:释放二维视觉提示以进行文本到三维生成
【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
【文本生成现代方法】Modern Methods for Text Generation
专知会员服务
44+阅读 · 2020年9月11日
零样本文本分类,Zero-Shot Learning for Text Classification
专知会员服务
97+阅读 · 2020年5月31日
零样本图像识别综述论文
专知会员服务
58+阅读 · 2020年4月4日
零样本图像识别综述论文
专知
22+阅读 · 2020年4月4日
【论文笔记】ICLR 2018 Wasserstein自编码器
专知
32+阅读 · 2018年6月29日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月25日
Arxiv
0+阅读 · 5月6日
VIP会员
最新内容
网状网络及其在军事领域的运用
专知会员服务
4+阅读 · 今天6:18
无美国参与的欧洲战争方式(万字长文)
专知会员服务
4+阅读 · 今天5:54
《国防领域敏感性分析白皮书》
专知会员服务
5+阅读 · 今天3:42
综述 | 从问答到任务完成:Agent系统与Harness设计
Agentic RL:框架、实践与长程智能体训练
专知会员服务
3+阅读 · 6月24日
重新思考无人机时代的生存能力
专知会员服务
8+阅读 · 6月24日
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
6+阅读 · 6月24日
在人工智能加速决策环境中拓展OODA循环
专知会员服务
8+阅读 · 6月24日
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
6+阅读 · 6月24日
相关VIP内容
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
13+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员