Many robots move through the world by composing locomotion primitives like steps and turns. To do so well, robots need not have primitives that make intuitive sense to humans. This becomes of paramount importance when robots are damaged and no longer move as designed. Here we propose a goal function we call "coverage", that represents the usefulness of a library of locomotion primitives in a manner agnostic to the particulars of the primitives themselves. We demonstrate the ability to optimize coverage on both simulated and physical robots, and show that coverage can be rapidly recovered after injury. This suggests that by optimizing for coverage, robots can sustain their ability to navigate through the world even in the face of significant mechanical failures. The benefits of this approach are enhanced by sample-efficient, data-driven approaches to system identification that can rapidly inform the optimization of primitives. We found that the number of degrees of freedom improved the rate of recovery of our simulated robots, a rare result in the fields of gait optimization and reinforcement learning. We showed that a robot with limbs made of tree branches (for which no CAD model or first principles model was available) is able to quickly find an effective high-coverage library of motion primitives. The optimized primitives are entirely non-obvious to a human observer, and thus are unlikely to be attainable through manual tuning.


翻译:许多机器人通过制造像步和转动这样的摇动原始材料在世界上移动。 要做到这一点, 机器人不需要拥有对人类具有直觉感知力的原始材料。 当机器人被损坏, 并且不再像设计的那样移动时, 这变得至关重要。 我们在这里提议了一个目标功能, 我们称之为“ 覆盖 ”, 代表着一个移动原始材料图书馆的有用性, 以与原始人本身的具体情况相适应的方式, 代表着移动原始材料图书馆的实用性。 我们展示了优化模拟机器人和物理机器人的覆盖范围的能力, 并显示在受伤后可以迅速恢复覆盖。 这意味着, 优化覆盖, 机器人就可以保持自己在世界上航行的能力, 即使在面临重大机械故障的情况下也是如此。 这种方法的优点是, 通过抽样高效、 数据驱动的系统识别方法, 能够迅速为原始材料提供优化信息。 我们发现, 自由度的数量提高了我们模拟机器人的恢复率,这是在游戏优化和强化学习领域的一个罕见的结果。 我们显示, 一个拥有树枝的机器人能够找到一个树枝部的机器人( 因为没有 CAD模型, 最原始的模型是无法实现最优化的模型。

0
下载
关闭预览

相关内容

【DeepMind】强化学习教程,83页ppt
专知会员服务
160+阅读 · 2020年8月7日
Python图像处理,366页pdf,Image Operators Image Processing in Python
【强化学习资源集合】Awesome Reinforcement Learning
专知会员服务
99+阅读 · 2019年12月23日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
已删除
将门创投
5+阅读 · 2018年6月7日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Arxiv
3+阅读 · 2020年7月16日
Arxiv
12+阅读 · 2019年3月14日
Arxiv
3+阅读 · 2018年10月18日
VIP会员
最新内容
《衡量语言模型中的作战规划能力》
专知会员服务
1+阅读 · 今天14:34
Maven智能系统:帕兰提尔军事人工智能平台详解
专知会员服务
2+阅读 · 今天14:21
《测试自动化框架在敏捷软件开发中的角色》
专知会员服务
1+阅读 · 今天14:09
俄罗斯如何拦截乌克兰无人机与巡航导弹
专知会员服务
9+阅读 · 10月15日
《武器-目标分配问题:精确与近似求解算法》
专知会员服务
14+阅读 · 10月15日
综述|谁来改进机器人?迈向物理递归自我改进
专知会员服务
11+阅读 · 10月14日
软件定义无人机蜂群给防空带来全新压力
专知会员服务
10+阅读 · 10月13日
相关VIP内容
【DeepMind】强化学习教程,83页ppt
专知会员服务
160+阅读 · 2020年8月7日
Python图像处理,366页pdf,Image Operators Image Processing in Python
【强化学习资源集合】Awesome Reinforcement Learning
专知会员服务
99+阅读 · 2019年12月23日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
意识是一种数学模式
CreateAMind
3+阅读 · 2019年6月24日
移动端机器学习资源合集
专知
8+阅读 · 2019年4月21日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
spinningup.openai 强化学习资源完整
CreateAMind
6+阅读 · 2018年12月17日
已删除
将门创投
5+阅读 · 2018年6月7日
Hierarchical Imitation - Reinforcement Learning
CreateAMind
19+阅读 · 2018年5月25日
Top
微信扫码咨询专知VIP会员