Humanoid robots require diverse motor skills to integrate into complex environments, but bridging the kinematic and dynamic embodiment gap from human data remains a major bottleneck. We demonstrate through Hessian analysis that traditional optimization-based retargeting is inherently non-convex and prone to local optima, leading to physical artifacts like joint jumps and self-penetration. To address this, we reformulate the targeting problem as learning data distribution rather than optimizing optimal solutions, where we propose NMR, a Neural Motion Retargeting framework that transforms static geometric mapping into a dynamics-aware learned process. We first propose Clustered-Expert Physics Refinement (CEPR), a hierarchical data pipeline that leverages VAE-based motion clustering to group heterogeneous movements into latent motifs. This strategy significantly reduces the computational overhead of massively parallel reinforcement learning experts, which project and repair noisy human demonstrations onto the robot's feasible motion manifold. The resulting high-fidelity data supervises a non-autoregressive CNN-Transformer architecture that reasons over global temporal context to suppress reconstruction noise and bypass geometric traps. Experiments on the Unitree G1 humanoid across diverse dynamic tasks (e.g., martial arts, dancing) show that NMR eliminates joint jumps and significantly reduces self-collisions compared to state-of-the-art baselines. Furthermore, NMR-generated references accelerate the convergence of downstream whole-body control policies, establishing a scalable path for bridging the human-robot embodiment gap.


翻译:人形机器人需要多样的运动技能才能融入复杂的环境中,但从人类数据中弥合运动学和动力学具身差异仍是一个主要瓶颈。通过Hessian分析,我们证明传统的基于优化的重定向方法本质上是非凸的,容易陷入局部最优解,从而导致关节跳跃和自穿透等物理伪影。为解决此问题,我们将重定向问题重新定义为学习数据分布而非优化最优解,并提出了神经运动重定向框架NMR,该框架将静态几何映射转化为动力学感知的学习过程。我们首先提出聚类专家物理精化方法CEPR,这是一种分层数据管道,利用基于VAE的运动聚类将异质运动分组为潜在模式。该策略显著降低了大规模并行强化学习专家的计算开销,这些专家将嘈杂的人类演示投影并修复到机器人的可行运动流形上。由此产生的高保真数据用于训练一个非自回归的CNN-Transformer架构,该架构通过全局时序上下文推理来抑制重建噪声并规避几何陷阱。在宇树G1人形机器人上的多种动态任务(如武术、舞蹈)实验表明,与最先进的基线方法相比,NMR消除了关节跳跃并显著减少了自碰撞。此外,NMR生成的参考信号加速了下游全身控制策略的收敛,为弥合人机具身差距建立了一条可扩展的路径。

0
下载
关闭预览

相关内容

AI大模型驱动的具身智能人形机器人技术与展望
专知会员服务
27+阅读 · 2025年5月26日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
机器人运动轨迹的模仿学习综述
专知会员服务
45+阅读 · 2021年6月8日
专知会员服务
66+阅读 · 2021年4月22日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员