Current video-to-4D methods struggle with complex topology changes, transparent materials, thin structures, and inner surfaces. We present Helix4D, a dynamic mesh generation framework by inheriting the expressive representation of Trellis2, adapting it from image-to-3D to video-conditioned 4D generation. Our design arises from two key questions: (a) how to enable Trellis2's frame-local attention to share information across frames while preserving its pretrained quality on rare cases such as transparent objects and inner surfaces, and (b) how to inject temporal information into a purely 3D positional encoding without breaking pretrained capabilities. We address (a) with a sliding-window cross-frame attention and anchor on the first frame. The first frame is generated by the base Trellis2 model and injected into our model, letting it inherit Trellis2's quality in rare cases through cross-frame attention. We address (b) with a 4D temporal encoding that repurposes redundant low-frequency spatial RoPE bands for time, extending the encoding from 3D with no additional parameters. Extensive experiments show the effectiveness of Helix4D for high-quality dynamic mesh generation on ActionBench and our own challenging complex dynamics set.


翻译:当前视频到四维(视频转4D)方法在处理复杂拓扑变化、透明材料、薄壁结构及内表面时面临挑战。我们提出Helix4D——一种动态网格生成框架,通过继承Trellis2的表达性表征,将其从图像到三维(图像转3D)的生成能力拓展至视频条件驱动的四维(4D)生成。本设计源于两个关键问题:(a)如何在保留Trellis2在透明物体、内表面等稀有案例中预训练质量的前提下,使其帧局部注意力能够跨帧共享信息;(b)如何在不破坏预训练能力的情况下,将时序信息注入纯三维位置编码。针对问题(a),我们采用滑动窗口跨帧注意力机制,并以首帧为锚点。首帧由基础Trellis2模型生成并注入框架,通过跨帧注意力继承其对稀有案例的生成质量。针对问题(b),我们提出四维时序编码,重新利用冗余的低频空间RoPE频带表征时间维度,在无需额外参数情况下将编码从三维扩展至四维。大量实验表明,Helix4D在ActionBench及自建复杂动态数据集上实现了高质量动态网格生成的有效性。

0
下载
关闭预览

相关内容

【NeurIPS2025】Instant4D:高效的4D高斯喷溅方法
专知会员服务
7+阅读 · 2025年10月2日
4D生成技术的进展:研究综述
专知会员服务
24+阅读 · 2025年3月19日
【伯克利博士论文】揭示任何视频背后的四维世界
专知会员服务
26+阅读 · 2024年11月24日
三维重建 3D reconstruction 有哪些实用算法?
极市平台
13+阅读 · 2020年2月23日
Deeplearning4j 快速入门
人工智能头条
14+阅读 · 2018年12月24日
【pix4D篇】——Pix4D软件介绍
无人机
18+阅读 · 2018年8月1日
最新|深度离散哈希算法,可用于图像检索!
全球人工智能
14+阅读 · 2017年12月15日
Deeplearning4j的介绍与实例分享 | 公开课
AI研习社
14+阅读 · 2017年11月27日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月6日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
4+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
6+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
3+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员