High-quality human motion data is becoming increasingly important for applications in robotics, simulation, and entertainment. Recent generative models offer a potential data source, enabling human motion synthesis through intuitive inputs like text prompts or kinematic constraints on poses. However, the small scale of public mocap datasets has limited the motion quality, control accuracy, and generalization of these models. In this work, we introduce Kimodo, an expressive and controllable kinematic motion diffusion model trained on 700 hours of optical motion capture data. Our model generates high-quality motions while being easily controlled through text and a comprehensive suite of kinematic constraints including full-body keyframes, sparse joint positions/rotations, 2D waypoints, and dense 2D paths. This is enabled through a carefully designed motion representation and two-stage denoiser architecture that decomposes root and body prediction to minimize motion artifacts while allowing for flexible constraint conditioning. Experiments on the large-scale mocap dataset justify key design decisions and analyze how the scaling of dataset size and model size affect performance.


翻译:高质量的人体运动数据对于机器人学、仿真和娱乐领域的应用正变得日益重要。近期的生成模型提供了一个潜在的数据源,能够通过文本提示或姿态上的运动学约束等直观输入来合成人体运动。然而,公共动作捕捉数据集规模较小,限制了这些模型的运动质量、控制精度和泛化能力。在本工作中,我们提出了Kimodo,这是一个基于700小时光学动作捕捉数据训练的表达能力强且可控的运动学运动扩散模型。我们的模型能够生成高质量的运动,同时易于通过文本以及一套全面的运动学约束进行控制,这些约束包括全身关键帧、稀疏关节位置/旋转、二维路径点以及密集二维路径。这得益于精心设计的运动表示和两阶段去噪器架构,该架构将根节点和身体预测分解,以最小化运动伪影,同时允许灵活的约束条件设置。在大规模动作捕捉数据集上的实验验证了关键设计决策,并分析了数据集规模和模型规模如何影响性能。

0
下载
关闭预览

相关内容

【NTU博士论文】3D人体动作生成
专知会员服务
12+阅读 · 4月24日
【CMU博士论文】交互驱动的人体动作估计与生成
专知会员服务
18+阅读 · 2025年9月17日
【CVPR2025】MixerMDM:可学习的人体运动扩散模型组合
专知会员服务
10+阅读 · 2025年4月3日
【ETHZ博士论文】《人类动作与交互的生成式建模》
专知会员服务
16+阅读 · 2025年3月28日
虚拟人运动控制策略学习方法的研究进展与展望
专知会员服务
19+阅读 · 2024年8月17日
TPAMI 2023 | 人体动作生成综述:方法、资源与挑战
专知会员服务
29+阅读 · 2023年11月18日
【AI+体育】机器学习在体育应用概述
专知会员服务
38+阅读 · 2022年4月17日
基于 Carsim 2016 和 Simulink的无人车运动控制联合仿真(三)
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
视频生成的前沿论文,看我们推荐的7篇就够了
人工智能前沿讲习班
34+阅读 · 2018年12月30日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
【综述】 基于大语言模型的对话用户模拟综述
《图世界模型:概念、分类体系与未来方向》
专知会员服务
14+阅读 · 5月1日
Palantir AIP平台:连接智能体与决策
专知会员服务
19+阅读 · 5月1日
相关VIP内容
【NTU博士论文】3D人体动作生成
专知会员服务
12+阅读 · 4月24日
【CMU博士论文】交互驱动的人体动作估计与生成
专知会员服务
18+阅读 · 2025年9月17日
【CVPR2025】MixerMDM:可学习的人体运动扩散模型组合
专知会员服务
10+阅读 · 2025年4月3日
【ETHZ博士论文】《人类动作与交互的生成式建模》
专知会员服务
16+阅读 · 2025年3月28日
虚拟人运动控制策略学习方法的研究进展与展望
专知会员服务
19+阅读 · 2024年8月17日
TPAMI 2023 | 人体动作生成综述:方法、资源与挑战
专知会员服务
29+阅读 · 2023年11月18日
【AI+体育】机器学习在体育应用概述
专知会员服务
38+阅读 · 2022年4月17日
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员