Designing high-performance legged robots requires jointly optimizing morphology and control. Model-free Reinforcement Learning (RL) offers an alternative to model-predictive control for developing robust controllers without explicitly specifying robot dynamics. Thus, we have seen theuse of RL to train controllers and evaluate designs for robot morphology optimization. While RL has shown success inlocomotion, using it in the co-design inner loop is expensive due to repeated policy training. Universal policies conditioned on morphology offer a promising alternative, but suffer from behavioral diversity collapse, converging to a single strategy that performs sub-optimally across designs. On the other hand, end-to-end Mixture-of-Experts (MoE) architectures fail due to a collapse in its representation. We propose Gaussian Evolutionary Specialists (GES), a framework that decouples design-space partitioning from policy learning to capture diverse behaviors explicitly. GES assigns specialist policies to evolving Gaussian regions and iteratively refines them via training, probing, and territory expansion. The resulting specialists are integrated into a design sampling loop, replacing costly re-training with direct evaluation. When tested on the Buoyancy-Assisted Light Legged Unit (BALLU), GES discovers designs with 5 - 25% higher performance than naive universal policies. On hardware, a GES optimized design overcomes a 24 cm tall obstacle - 3x improvement over the baseline BALLU design. Moreover, GES curtails design optimization time by 37%.


翻译:设计高性能足式机器人需要同时优化形态与控制。无模型强化学习为开发鲁棒控制器提供了替代模型预测控制的方法,无需显式指定机器人动力学。因此,我们已看到强化学习被用于训练控制器和评估设计的形态优化。尽管强化学习在运动领域取得成效,但将其用于协同设计内循环时,因反复策略训练而成本高昂。基于形态条件的通用策略虽具前景,却存在行为多样性崩溃问题,会收敛至对所有设计表现欠佳的单一策略。另一方面,端到端混合专家架构因表征崩溃而失效。我们提出高斯进化专家——一种将设计空间划分与策略学习解耦以显式捕获多样化行为的框架。该框架将专家策略分配至演化高斯区域,并通过训练、探测和领土扩展迭代优化。最终专家策略被整合至设计采样循环中,用直接评估替代昂贵的重新训练。在浮力辅助轻型足单元平台测试中,高斯进化专家发现的设计性能比朴素通用策略高出5%-25%。在硬件实验中,经高斯进化专家优化的设计成功跨越24厘米障碍物——相比基线BALLU设计提升3倍。此外,高斯进化专家将设计优化时间缩减37%。

0
下载
关闭预览

相关内容

设计是对现有状的一种重新认识和打破重组的过程,设计让一切变得更美。
仿生机器人技术的军事应用
专知会员服务
14+阅读 · 2025年12月4日
《机器人弹性物体感知技术研究》227页
专知会员服务
18+阅读 · 2025年11月20日
Robotaxi的商业模式前景展望
专知会员服务
17+阅读 · 2024年9月21日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
机器人开发库软件大列表
专知
10+阅读 · 2018年3月18日
【无人机】无人机的自主与智能控制
产业智能官
53+阅读 · 2017年11月27日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员