While recent advances in humanoid locomotion have achieved stable walking on varied terrains, capturing the agility and adaptivity of highly dynamic human motions remains an open challenge. In particular, agile parkour in complex environments demands not only low-level robustness, but also human-like motion expressiveness, long-horizon skill composition, and perception-driven decision-making. In this paper, we present Perceptive Humanoid Parkour (PHP), a modular framework that enables humanoid robots to autonomously perform long-horizon, vision-based parkour across challenging obstacle courses. Our approach first leverages motion matching, formulated as nearest-neighbor search in a feature space, to compose retargeted atomic human skills into long-horizon kinematic trajectories. This framework enables the flexible composition and smooth transition of complex skill chains while preserving the elegance and fluidity of dynamic human motions. Next, we train motion-tracking reinforcement learning (RL) expert policies for these composed motions, and distill them into a single depth-based, multi-skill student policy, using a combination of DAgger and RL. Crucially, the combination of perception and skill composition enables autonomous, context-aware decision-making: using only onboard depth sensing and a discrete 2D velocity command, the robot selects and executes whether to step over, climb onto, vault or roll off obstacles of varying geometries and heights. We validate our framework with extensive real-world experiments on a Unitree G1 humanoid robot, demonstrating highly dynamic parkour skills such as climbing tall obstacles up to 1.25m (96% robot height), as well as long-horizon multi-obstacle traversal with closed-loop adaptation to real-time obstacle perturbations.


翻译:尽管人形机器人运动控制领域的最新进展已实现其在多样化地形上的稳定行走,但捕捉高度动态人体动作的敏捷性与适应性仍是一个开放挑战。特别是在复杂环境中的敏捷跑酷,不仅需要底层的鲁棒性,还要求具备类人的运动表现力、长时域技能组合以及感知驱动的决策能力。本文提出感知型人形机器人跑酷(PHP),这是一个模块化框架,使人形机器人能够自主在具有挑战性的障碍场地中执行基于视觉的长时域跑酷任务。我们的方法首先利用运动匹配技术(在特征空间中形式化为最近邻搜索),将重定向后的原子化人体技能组合成长时域运动轨迹。该框架支持复杂技能链的灵活组合与平滑过渡,同时保持动态人体动作的优雅性与流畅度。随后,我们为这些组合动作训练运动跟踪强化学习专家策略,并通过结合DAgger与强化学习的方法,将其蒸馏为单一的基于深度信息的多技能学生策略。关键之处在于,感知与技能组合的结合实现了自主的上下文感知决策:仅使用机载深度传感和离散的二维速度指令,机器人即可根据障碍物的不同几何形状与高度,自主选择并执行跨越、攀爬、撑越或翻滚等动作。我们在Unitree G1人形机器人上进行了大量真实世界实验以验证该框架,展示了高度动态的跑酷技能,例如攀爬高达1.25米(机器人身高的96%)的障碍物,以及在实时障碍物扰动下通过闭环自适应完成长时域多障碍物穿越。

0
下载
关闭预览

相关内容

AI大模型驱动的具身智能人形机器人技术与展望
专知会员服务
24+阅读 · 2025年5月26日
重磅!人形机器人产业发展研究报告(2024年)
专知会员服务
39+阅读 · 2024年12月28日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
人形机器人发展与展望
专知会员服务
49+阅读 · 2023年9月6日
人形机器人行业深度:具身智能,迈向广阔蓝海市场
专知会员服务
51+阅读 · 2023年7月2日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
智能无人机集群技术概述
无人机
44+阅读 · 2018年2月28日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关VIP内容
AI大模型驱动的具身智能人形机器人技术与展望
专知会员服务
24+阅读 · 2025年5月26日
重磅!人形机器人产业发展研究报告(2024年)
专知会员服务
39+阅读 · 2024年12月28日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
人形机器人发展与展望
专知会员服务
49+阅读 · 2023年9月6日
人形机器人行业深度:具身智能,迈向广阔蓝海市场
专知会员服务
51+阅读 · 2023年7月2日
相关基金
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员