We present HairWeaver, a diffusion-based pipeline that animates a single human image with realistic and expressive hair dynamics. While existing methods successfully control body pose, they lack specific control over hair, and as a result, fail to capture the intricate hair motions, resulting in stiff and unrealistic animations. HairWeaver overcomes this limitation using two specialized modules: a Motion-Context-LoRA to integrate motion conditions and a Sim2Real-Domain-LoRA to preserve the subject's photoreal appearance across different data domains. These lightweight components are designed to guide a video diffusion backbone while maintaining its core generative capabilities. By training on a specialized dataset of dynamic human motion generated from a CG simulator, HairWeaver affords fine control over hair motion and ultimately learns to produce highly realistic hair that responds naturally to movement. Comprehensive evaluations demonstrate that our approach sets a new state of the art, producing lifelike human hair animations with dynamic details.


翻译:本文提出HairWeaver,一种基于扩散模型的流程,能够为单张人物图像生成逼真且富有表现力的头发动态效果。现有方法虽能成功控制身体姿态,但缺乏对头发的特异性控制,因而无法捕捉精细的头发运动,导致动画效果僵硬且不真实。HairWeaver通过两个专用模块克服了这一局限:用于整合运动条件的Motion-Context-LoRA,以及在不同数据域中保持主体照片级真实外观的Sim2Real-Domain-LoRA。这些轻量化组件旨在引导视频扩散主干网络,同时保持其核心生成能力。通过在由CG仿真器生成的动态人体运动专用数据集上进行训练,HairWeaver实现了对头发运动的精细控制,最终学会生成能自然响应运动的高度逼真头发效果。综合评估表明,我们的方法确立了新的技术标杆,能够生成具有动态细节的栩栩如生的人物头发动画。

0
下载
关闭预览

相关内容

多模态数字人建模、合成与驱动综述
专知会员服务
30+阅读 · 2024年9月19日
【论文推荐】小样本视频合成,Few-shot Video-to-Video Synthesis
专知会员服务
24+阅读 · 2019年12月15日
基于姿态的人物视频生成【附PPT与视频资料】
人工智能前沿讲习班
32+阅读 · 2019年1月28日
重磅!头部姿态估计「原理详解 + 实战代码」来啦!
计算机视觉life
57+阅读 · 2018年11月29日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关VIP内容
多模态数字人建模、合成与驱动综述
专知会员服务
30+阅读 · 2024年9月19日
【论文推荐】小样本视频合成,Few-shot Video-to-Video Synthesis
专知会员服务
24+阅读 · 2019年12月15日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员