Designing high-performance legged robots requires jointly optimizing morphology and control. Model-free Reinforcement Learning (RL) offers an alternative to model-predictive control for developing robust controllers without explicitly specifying robot dynamics. Thus, we have seen theuse of RL to train controllers and evaluate designs for robot morphology optimization. While RL has shown success inlocomotion, using it in the co-design inner loop is expensive due to repeated policy training. Universal policies conditioned on morphology offer a promising alternative, but suffer from behavioral diversity collapse, converging to a single strategy that performs sub-optimally across designs. On the other hand, end-to-end Mixture-of-Experts (MoE) architectures fail due to a collapse in its representation. We propose Gaussian Evolutionary Specialists (GES), a framework that decouples design-space partitioning from policy learning to capture diverse behaviors explicitly. GES assigns specialist policies to evolving Gaussian regions and iteratively refines them via training, probing, and territory expansion. The resulting specialists are integrated into a design sampling loop, replacing costly re-training with direct evaluation. When tested on the Buoyancy-Assisted Light Legged Unit (BALLU), GES discovers designs with 5 - 25% higher performance than naive universal policies. On hardware, a GES optimized design overcomes a 24 cm tall obstacle - 3x improvement over the baseline BALLU design. Moreover, GES curtails design optimization time by 37%.


翻译:设计高性能足式机器人需要同时优化形态与控制。无模型强化学习为开发鲁棒控制器提供了替代模型预测控制的方法,无需显式指定机器人动力学。因此,我们已看到强化学习被用于训练控制器和评估设计的形态优化。尽管强化学习在运动领域取得成效,但将其用于协同设计内循环时,因反复策略训练而成本高昂。基于形态条件的通用策略虽具前景,却存在行为多样性崩溃问题,会收敛至对所有设计表现欠佳的单一策略。另一方面,端到端混合专家架构因表征崩溃而失效。我们提出高斯进化专家——一种将设计空间划分与策略学习解耦以显式捕获多样化行为的框架。该框架将专家策略分配至演化高斯区域,并通过训练、探测和领土扩展迭代优化。最终专家策略被整合至设计采样循环中,用直接评估替代昂贵的重新训练。在浮力辅助轻型足单元平台测试中,高斯进化专家发现的设计性能比朴素通用策略高出5%-25%。在硬件实验中,经高斯进化专家优化的设计成功跨越24厘米障碍物——相比基线BALLU设计提升3倍。此外,高斯进化专家将设计优化时间缩减37%。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
《机器人强化学习技术进展》34页
专知会员服务
40+阅读 · 2025年7月16日
面向机器人系统的虚实迁移强化学习综述
专知会员服务
45+阅读 · 2024年2月8日
《用于水下目标定位的平台便携式强化学习方法》
专知会员服务
28+阅读 · 2024年1月2日
专知会员服务
66+阅读 · 2021年4月22日
【CMU博士论文】机器人深度强化学习,128页pdf
专知会员服务
133+阅读 · 2020年8月27日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
从采集到决策:美军视角下的战术情报范式重构
专知会员服务
4+阅读 · 今天2:42
《履带式无人地面战车技术发展现状》
专知会员服务
2+阅读 · 今天1:46
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
11+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
8+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
5+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
8+阅读 · 7月31日
相关VIP内容
《机器人强化学习技术进展》34页
专知会员服务
40+阅读 · 2025年7月16日
面向机器人系统的虚实迁移强化学习综述
专知会员服务
45+阅读 · 2024年2月8日
《用于水下目标定位的平台便携式强化学习方法》
专知会员服务
28+阅读 · 2024年1月2日
专知会员服务
66+阅读 · 2021年4月22日
【CMU博士论文】机器人深度强化学习,128页pdf
专知会员服务
133+阅读 · 2020年8月27日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员