The rapid proliferation of generative 3D models has created a critical bottleneck in animation pipelines: rigging. Existing automated methods are fundamentally limited by their approach to skinning, treating it as an ill-posed, high-dimensional regression task that is inefficient to optimize and is typically decoupled from skeleton generation. We posit this is a representation problem and introduce SkinTokens: a learned, compact, and discrete representation for skinning weights. By leveraging an FSQ-CVAE to capture the intrinsic sparsity of skinning, we reframe the task from continuous regression to a more tractable token sequence prediction problem. This representation enables TokenRig, a unified autoregressive framework that models the entire rig as a single sequence of skeletal parameters and SkinTokens, learning the complicated dependencies between skeletons and skin deformations. The unified model is then amenable to a reinforcement learning stage, where tailored geometric and semantic rewards improve generalization to complex, out-of-distribution assets. Quantitatively, the SkinTokens representation leads to a 98%-133% percents improvement in skinning accuracy over state-of-the-art methods, while the full TokenRig framework, refined with RL, enhances bone prediction by 17%-22%. Our work presents a unified, generative approach to rigging that yields higher fidelity and robustness, offering a scalable solution to a long-standing challenge in 3D content creation.


翻译:生成式3D模型的快速扩散在动画流程中造成了关键瓶颈:绑定建模。现有自动化方法从根本上受限于其蒙皮处理方式,将其视为一个不适定的高维回归任务,这种任务优化效率低下且通常与骨骼生成过程解耦。我们认为这是一个表示问题,因此提出皮肤令牌:一种用于蒙皮权重的紧凑离散学习表示。通过利用FSQ-CVAE捕捉蒙皮固有的稀疏性,我们将任务从连续回归重构为更易处理的令牌序列预测问题。该表示支持TokenRig——一个统一的自回归框架,将完整绑定建模为骨骼参数与皮肤令牌的单一序列,从而学习骨骼与皮肤形变间的复杂依赖关系。该统一模型随后可进行强化学习阶段,通过定制的几何与语义奖励提升对复杂分布外资产的泛化能力。量化实验表明,皮肤令牌表示使蒙皮精度较现有最优方法提升98%-133%,而经过RL优化的完整TokenRig框架则将骨骼预测精度提升17%-22%。本研究提出了一种统一的生成式绑定建模方法,在实现更高保真度与鲁棒性的同时,为3D内容创作中长期存在的挑战提供了可扩展的解决方案。

0
下载
关闭预览

相关内容

国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员