Achieving highly dynamic humanoid parkour on unseen, complex terrains remains a challenge in robotics. Although general locomotion policies demonstrate capabilities across broad terrain distributions, they often struggle with arbitrary and highly challenging environments. To overcome this limitation, we propose a real-to-sim-to-real framework that leverages rapid test-time training (TTT) on novel terrains, significantly enhancing the robot's capability to traverse extremely difficult geometries. We adopt a two-stage end-to-end learning paradigm: a policy is first pre-trained on diverse procedurally generated terrains, followed by rapid fine-tuning on high-fidelity meshes reconstructed from real-world captures. Specifically, we develop a feed-forward, efficient, and high-fidelity geometry reconstruction pipeline using RGB-D inputs, ensuring both speed and quality during test-time training. We demonstrate that TTT-Parkour empowers humanoid robots to master complex obstacles, including wedges, stakes, boxes, trapezoids, and narrow beams. The whole pipeline of capturing, reconstructing, and test-time training requires less than 10 minutes on most tested terrains. Extensive experiments show that the policy after test-time training exhibits robust zero-shot sim-to-real transfer capability.


翻译:在未见过的复杂地形上实现高度动态的人形机器人跑酷仍然是机器人学中的一个挑战。尽管通用的运动策略在广泛的地形分布上展现出能力,但它们常常难以应对任意且极具挑战性的环境。为了克服这一限制,我们提出了一个“实景-仿真-实景”框架,该框架利用在新地形上的快速测试时训练,显著增强了机器人穿越极端困难几何结构的能力。我们采用了两阶段的端到端学习范式:策略首先在多样化的程序生成地形上进行预训练,随后在从真实世界捕获重建的高保真网格上进行快速微调。具体而言,我们开发了一个使用RGB-D输入的前馈式、高效且高保真的几何重建流程,确保了测试时训练过程中的速度与质量。我们证明,TTT-Parkour使人形机器人能够掌握复杂的障碍物,包括楔形物、桩、箱子、梯形物和窄梁。整个捕获、重建和测试时训练的流程在大多数测试地形上所需时间少于10分钟。大量实验表明,经过测试时训练的策略展现出鲁棒的零样本仿真到实景迁移能力。

0
下载
关闭预览

相关内容

英国陆军将测试用于作战训练的 ChatGPT 增强型目标机器人
专知会员服务
48+阅读 · 2023年12月31日
《用于空战机动的分层多智能体强化学习》
专知会员服务
66+阅读 · 2023年10月5日
特斯拉机器人:AI赋能加速迭代,国产硬件降本优势明显
IROS2020|机器人自主探索与建图算法,代码已开源!
中国图象图形学报
34+阅读 · 2020年9月8日
【泡泡图灵智库】实时单目物体-模型感知稀疏SLAM(ICRA)
泡泡机器人SLAM
10+阅读 · 2019年7月12日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
【深度】行人检测算法
GAN生成式对抗网络
29+阅读 · 2018年6月3日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关VIP内容
英国陆军将测试用于作战训练的 ChatGPT 增强型目标机器人
专知会员服务
48+阅读 · 2023年12月31日
《用于空战机动的分层多智能体强化学习》
专知会员服务
66+阅读 · 2023年10月5日
特斯拉机器人:AI赋能加速迭代,国产硬件降本优势明显
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员