Dance plays an important role as an artistic form and expression in human culture, yet automatically generating dance sequences is a significant yet challenging endeavor. Existing approaches often neglect the critical aspect of controllability in dance generation. Additionally, they inadequately model the nuanced impact of music styles, resulting in dances that lack alignment with the expressive characteristics inherent in the conditioned music. To address this gap, we propose Style-Guided Motion Diffusion (SGMD), which integrates the Transformer-based architecture with a Style Modulation module. By incorporating music features with user-provided style prompts, the SGMD ensures that the generated dances not only match the musical content but also reflect the desired stylistic characteristics. To enable flexible control over the generated dances, we introduce a spatial-temporal masking mechanism. As controllable dance generation has not been fully studied, we construct corresponding experimental setups and benchmarks for tasks such as trajectory-based dance generation, dance in-betweening, and dance inpainting. Extensive experiments demonstrate that our approach can generate realistic and stylistically consistent dances, while also empowering users to create dances tailored to diverse artistic and practical needs. Code is available on Github: https://github.com/mucunzhuzhu/DGSDP


翻译:舞蹈作为人类文化中重要的艺术形式和表达方式,其自动生成序列是一项重要且具有挑战性的任务。现有方法往往忽视了舞蹈生成中可控性这一关键方面。此外,它们未能充分建模音乐风格对舞蹈动作的细微影响,导致生成的舞蹈与所依据音乐的表达特性缺乏一致性。为弥补这一不足,我们提出了风格引导的运动扩散模型,该模型将基于Transformer的架构与风格调制模块相结合。通过融合音乐特征与用户提供的风格提示,SGMD确保生成的舞蹈不仅匹配音乐内容,同时反映期望的风格特征。为实现对生成舞蹈的灵活控制,我们引入了时空掩码机制。鉴于可控舞蹈生成尚未得到充分研究,我们为基于轨迹的舞蹈生成、舞蹈中间帧生成和舞蹈修复等任务构建了相应的实验设置与基准。大量实验表明,我们的方法能够生成逼真且风格一致的舞蹈,同时使用户能够根据多样化的艺术与实用需求定制舞蹈。代码已发布于Github:https://github.com/mucunzhuzhu/DGSDP

0
下载
关闭预览

相关内容

《可控视频生成:综述》
专知会员服务
17+阅读 · 2025年7月24日
【CVPR2025】MixerMDM:可学习的人体运动扩散模型组合
专知会员服务
10+阅读 · 2025年4月3日
【博士论文】可控图像与视频合成,201页pdf
专知会员服务
32+阅读 · 2024年9月17日
【博士论文】生成模型中的可控性与不确定性,214页pdf
专知会员服务
47+阅读 · 2024年3月14日
基于预训练语言模型的可控文本生成的研究与应用
专知会员服务
23+阅读 · 2022年12月13日
【NeurIPS 2021】基于潜在空间能量模型的可控和组分生成
专知会员服务
17+阅读 · 2021年10月23日
AAAI 2020 | 多模态基准指导的生成式多模态自动文摘
AI科技评论
16+阅读 · 2020年1月5日
用GANs来自动生成音乐【代码+PPT】
专知
29+阅读 · 2019年11月7日
你跳宅舞的样子很专业:不,这都是AI合成的结果
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
Arxiv
0+阅读 · 1月16日
VIP会员
相关VIP内容
《可控视频生成:综述》
专知会员服务
17+阅读 · 2025年7月24日
【CVPR2025】MixerMDM:可学习的人体运动扩散模型组合
专知会员服务
10+阅读 · 2025年4月3日
【博士论文】可控图像与视频合成,201页pdf
专知会员服务
32+阅读 · 2024年9月17日
【博士论文】生成模型中的可控性与不确定性,214页pdf
专知会员服务
47+阅读 · 2024年3月14日
基于预训练语言模型的可控文本生成的研究与应用
专知会员服务
23+阅读 · 2022年12月13日
【NeurIPS 2021】基于潜在空间能量模型的可控和组分生成
专知会员服务
17+阅读 · 2021年10月23日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员