In evolutionary robotics, robot morphologies are designed automatically using evolutionary algorithms. This creates a body-brain optimization problem, where both morphology and control must be optimized together. A common approach is to include controller optimization for each morphology, but starting from scratch for every new body may require a high controller learning budget. We address this by using Bayesian optimization for controller optimization, exploiting its sample efficiency and strong exploration capabilities, and using sample inheritance as a form of Lamarckian inheritance. Under a deliberately low controller learning budget for each morphology, we investigate two types of sample inheritance: (1) transferring all the parent's samples to the offspring to be used as prior without evaluating them, and (2) reevaluating the parent's best samples on the offspring. Both are compared to a baseline without inheritance. Our results show that reevaluation performs best, with prior-based inheritance also outperforming no inheritance. Analysis reveals that while the learning budget is too low for a single morphology, generational inheritance compensates for this by accumulating learned adaptations across generations. Furthermore, inheritance mainly benefits offspring morphologies that are similar to their parents. Finally, we demonstrate the critical role of the environment, with more challenging environments resulting in more stable walking gaits. Our findings highlight that inheritance mechanisms can boost performance in evolutionary robotics without needing large learning budgets, offering an efficient path toward more capable robot design.


翻译:在进化机器人学中,机器人形态通常通过进化算法自动设计。这产生了体脑协同优化问题,即形态与控制必须同时优化。常见方法是为每个形态单独优化控制器,但每个新身体从头开始学习可能需要高昂的控制学习成本。我们通过使用贝叶斯优化进行控制器优化来解决此问题,利用其样本高效性和强大的探索能力,并采用样本继承作为拉马克式继承的一种形式。在刻意设定每个形态的低控制器学习成本条件下,我们研究了两种样本继承方式:(1) 将父代所有样本转移给子代作为先验知识而不重新评估,(2) 在子代上重新评估父代的最佳样本。两种方法均与无继承的基线进行比较。结果表明,重新评估方法表现最佳,基于先验的继承也优于无继承。分析表明,虽然单个形态的学习成本过低,但代际继承通过累积跨代学习适应弥补了这一点。此外,继承主要使与父代相似的子代形态受益。最后,我们证明了环境的关键作用:更具挑战性的环境能产生更稳定的行走步态。我们的研究结果强调,继承机制可以在不需要大量学习成本的情况下提升进化机器人学的性能,为设计更具能力的机器人提供了高效路径。

0
下载
关闭预览

相关内容

继承是面向对象软件技术当中的一个概念,与多态、封装共为面向对象的三个基本特征。 继承可以使得子类具有父类的属性和方法或者重新定义、追加属性和方法等。
【牛津大学】贝叶斯优化用于自动化机器学习,321页pdf
专知会员服务
31+阅读 · 2024年5月17日
【2023新书】贝叶斯优化:使用Python的理论和实践,243页pdf
【经典书】机器学习:贝叶斯和优化方法,1075页pdf
专知会员服务
415+阅读 · 2020年6月8日
以BERT为例,如何优化机器学习模型性能?
专知
10+阅读 · 2019年10月3日
机器学习中的最优化算法总结
人工智能前沿讲习班
22+阅读 · 2019年3月22日
机器学习算法集锦:从贝叶斯到深度学习及各自优缺点
人工智能学家
11+阅读 · 2019年2月15日
博客 | 机器学习中的数学基础(凸优化)
AI研习社
14+阅读 · 2018年12月16日
贝叶斯机器学习前沿进展
机器学习研究会
21+阅读 · 2018年1月21日
从浅层模型到深度模型:概览机器学习优化算法
机器之心
27+阅读 · 2017年7月9日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2月3日
VIP会员
最新内容
《美国战争部2027财年军事人员预算》
专知会员服务
0+阅读 · 43分钟前
伊朗战争中的电子战
专知会员服务
3+阅读 · 今天7:04
大语言模型平台在国防情报应用中的对比
专知会员服务
5+阅读 · 今天3:12
美海军“超配项目”
专知会员服务
6+阅读 · 今天2:13
《美陆军条例:陆军指挥政策(2026版)》
专知会员服务
10+阅读 · 4月21日
《军用自主人工智能系统的治理与安全》
专知会员服务
7+阅读 · 4月21日
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
49+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员