Due to brain-body co-evolution, animals' intrinsic body dynamics play a crucial role in energy-efficient locomotion, which shares control effort between active muscles and passive body dynamics -- a principle known as Embodied Physical Intelligence. In contrast, robot bodies are often designed with one centralised controller that typically suppress the intrinsic body dynamics instead of exploiting it. We introduce Physical Imitation Learning (PIL), which distils a Reinforcement Learning (RL) control policy into physically implementable body responses that can be directly offloaded to passive Parallel Elastic Joints (PEJs), enabling therefore the body to imitate part of the controlled behaviour. Meanwhile, the residual policy commands the motors to recover the RL policy's performance. The results is an overall reduced energy consumption thanks to outsourcing parts of the control policy to the PEJs. Here we show in simulated quadrupeds, that our PIL approach can offloads up to 87% of mechanical power to PEJs on flat terrain and 18% on rough terrain. Because the body design is distilled from -- rather than jointly optimised with -- the control policy, PIL realises brain-body co-design without expanding the search space with body design parameters, providing a computationally efficient route to task-specific Embodied Physical Intelligence applicable to a wide range of joint-based robot morphologies.


翻译:由于脑-体协同进化,动物内在的身体动力学在节能运动中起着关键作用——通过主动肌肉与被动身体动力学分担控制负担,这一原理被称为“具身物理智能”。相比之下,机器人身体通常采用集中式控制器设计,往往抑制而非利用其内在身体动力学。我们提出物理模仿学习(PIL),该方法将强化学习(RL)控制策略蒸馏为可直接卸载至无动并联弹性关节(PEJs)的物理可实现的体响应,从而使身体能够模仿部分受控行为。同时,残差策略驱动电机恢复强化学习策略的性能。由于将部分控制策略外化至PEJs,最终实现了整体能耗降低。我们在仿真四足机器人中证明,PIL方法在平坦地形上可将高达87%的机械功率卸载至PEJs,在崎岖地形中为18%。由于身体设计是通过控制策略蒸馏(而非联合优化)得到,PIL在不扩展身体设计参数的搜索空间情况下实现了脑-体协同设计,为面向任务的具身物理智能提供了一种计算高效的路径,适用于多种基于关节的机器人形态。

0
下载
关闭预览

相关内容

迈向智能体系统规模化的科学
专知会员服务
22+阅读 · 2025年12月12日
深度强化学习与模仿学习导论
专知会员服务
25+阅读 · 2025年12月10日
具身智能学习综述:基于物理模拟器与世界模型的方法
专知会员服务
35+阅读 · 2025年7月2日
物理引导的机器学习
专知会员服务
23+阅读 · 2025年5月11日
【博士论文】通过学习可组合能量场景来学习可泛化系统
多智能体强化学习(MARL)近年研究概览
PaperWeekly
38+阅读 · 2020年3月15日
基于 Carsim 2016 和 Simulink的无人车运动控制联合仿真(三)
PlaNet 简介:用于强化学习的深度规划网络
谷歌开发者
13+阅读 · 2019年3月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
VIP会员
相关主题
最新内容
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
3+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
4+阅读 · 5月30日
《Palantir任务保障性软件安全标准(MA-S2)》
专知会员服务
14+阅读 · 5月30日
基于声学的无人机检测技术综述
专知会员服务
8+阅读 · 5月30日
《当代混合战争分析框架:俄乌战争经验教训》
战略前沿人工智能的再思考(中文)
专知会员服务
8+阅读 · 5月29日
《量化地基防空系统间接效应的博弈论方法》
专知会员服务
6+阅读 · 5月29日
Top
微信扫码咨询专知VIP会员