This paper presents a sim-to-real approach that enables legged robots to dynamically manipulate large and heavy objects with whole-body dexterity. Our key insight is that by performing test-time steering of a pre-trained whole-body control policy with a sample-based planner, we can enable these robots to solve a variety of dynamic loco-manipulation tasks. Interestingly, we find our method generalizes to a diverse set of objects and tasks with no additional tuning or training, and can be further enhanced by flexibly adjusting the cost function at test time. We demonstrate the capabilities of our approach through a variety of challenging loco-manipulation tasks on a Spot quadruped robot in the real world, including uprighting a tire heavier than the robot's nominal lifting capacity and dragging a crowd-control barrier larger and taller than the robot itself. Additionally, we show that the same approach can be generalized to humanoid loco-manipulation tasks, such as opening a door and pushing a table, in simulation. Project code and videos are available at \href{https://sumo.rai-inst.com/}{https://sumo.rai-inst.com/}.


翻译:本文提出了一种从仿真到现实的方法,使足式机器人能够以全身灵巧性动态操控大型重物。我们的核心洞见在于:通过结合预训练全身控制策略与基于采样的规划器,在测试阶段对控制策略进行实时引导,使机器人能够解决多种动态运动操控任务。值得注意的是,我们发现该方法无需额外调优或训练即可泛化至多样化的物体与任务,且能通过灵活调整测试阶段的代价函数进一步增强性能。我们在一台Spot四足机器人上通过一系列具有挑战性的现实世界运动操控任务验证了该方法的能力,包括扶起超过机器人额定举升重量的轮胎、拖拽比机器人更大更高的隔离柱。此外,仿真实验表明,相同方法可泛化至人形机器人的运动操控任务(如开门、推桌)。项目代码与演示视频见 \href{https://sumo.rai-inst.com/}{https://sumo.rai-inst.com/}。

0
下载
关闭预览

相关内容

【斯坦福博士论文】移动操作机器人的学习系统构建研究
专知会员服务
14+阅读 · 2025年11月14日
面向具身操作的视觉-语言-动作模型综述
专知会员服务
28+阅读 · 2025年8月23日
虚拟人运动控制策略学习方法的研究进展与展望
专知会员服务
19+阅读 · 2024年8月17日
【CMU博士论文】强化学习的泛化灵巧性,182页pdf
专知会员服务
42+阅读 · 2023年11月4日
专知会员服务
66+阅读 · 2021年4月22日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
李克强:智能车辆运动控制研究综述
厚势
21+阅读 · 2017年10月17日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
4+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
Top
微信扫码咨询专知VIP会员