Free-form bones, that conform closely to the surface, can effectively capture non-rigid deformations, but lack a kinematic structure necessary for intuitive control. Thus, we propose a Scaffold-Skin Rigging System, termed "Skelebones", with three key steps: (1) Bones: compress temporally-consistent deformable Gaussians into free-form bones, approximating non-rigid surface deformations; (2) Skeleton: extract a Mean Curvature Skeleton from canonical Gaussians and refine it temporally, ensuring a category-agnostic, motion-adaptive, and topology-correct kinematic structure; (3) Binding: bind the skeleton and bones via non-parametric partwise motion matching (PartMM), synthesizing novel bone motions by matching, retrieving, and blending existing ones. Collectively, these three steps enable us to compress the Level of Dynamics of 4D shapes into compact skelebones that are both controllable and expressive. We validate our approach on both synthetic and real-world datasets, achieving significant improvements in reanimation performance across unseen poses-with 17.3% PSNR gains over Linear Blend Skinning (LBS) and 21.7% over Bag-of-Bones (BoB)-while maintaining excellent reconstruction fidelity, particularly for characters exhibiting complex non-rigid surface dynamics. Our Partwise Motion Matching algorithm demonstrates strong generalization to both Gaussian and mesh representations, especially under low-data regime (~1000 frames), achieving 48.4% RMSE improvement over robust LBS and outperforming GRU- and MLP-based learning methods by >20%. Code will be made publicly available for research purposes at cookmaker.cn/gaussianimate.


翻译:紧贴表面的自由形态骨骼能有效捕捉非刚性形变,但缺乏直观控制所需的运动学结构。为此,我们提出"骨架-蒙皮绑定系统"——Skelebones,包含三个关键步骤:(1)骨骼:将时间一致的可变形高斯体压缩为自由形态骨骼,近似非刚性表面形变;(2)骨架:从规范高斯体中提取平均曲率骨架并进行时间维度优化,确保与类别无关、运动自适应且拓扑正确的运动学结构;(3)绑定:通过非参数化部件级运动匹配(PartMM)实现骨架与骨骼的绑定,通过匹配、检索和混合现有运动合成新颖骨骼运动。这三个步骤共同将4D形状的动力学层次压缩为紧凑且兼具可控性与表现力的Skelebones。我们在合成数据集与真实数据集上验证了该方法,在未见姿态下的重动画性能取得显著提升——相比线性混合蒙皮(LBS)提高17.3% PSNR,相比骨骼袋(BoB)提高21.7%——同时保持优异的重建保真度,尤其适用于呈现复杂非刚性表面动力学的角色。我们的部件级运动匹配算法在高斯体与网格表示上均展现强泛化能力,在低数据场景(约1000帧)中相比鲁棒LBS实现48.4% RMSE降低,并优于基于GRU和MLP的学习方法超过20%。代码将在cookmaker.cn/gaussianimate公开发布用于研究目的。

0
下载
关闭预览

相关内容

非Transformer不可?最新《状态空间模型(SSM)》综述
专知会员服务
75+阅读 · 2024年4月16日
Meta-Transformer:多模态学习的统一框架
专知会员服务
59+阅读 · 2023年7月21日
【论文】结构GANs,Structured GANs,
专知会员服务
15+阅读 · 2020年1月16日
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
7+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员