Robotic simulators are a cornerstone of modern research in aerial robotics, serving both as a vehicle for the development of new control algorithms and as the data source for training reinforcement learning (RL) policies. Yet, existing quadcopter learning environments often face a trade-off between physical fidelity, multi-agent support, and the throughput required by modern deep RL pipelines. In this paper, we present MuJoCo-Drones-Gym, an open-source Gymnasium-compatible multi-drone environment built on top of the MuJoCo physics engine. MuJoCo-Drones-Gym supports an arbitrary number of Bitcraze Crazyflie 2.x nano-quadcopters and exposes a modular API for selecting (i)~the physics model (rigid-body MuJoCo, explicit Python dynamics, or any subset of ground effect, blade drag, and inter-drone downwash), (ii)~the action interface (per-motor RPMs, collective normalized thrust, velocity setpoints, or PID waypoint commands), and (iii)~the observation space (kinematic state vectors, RGB / depth / segmentation cameras, or neighbourhood adjacency information). A PettingZoo ParallelEnv wrapper enables drop-in multi-agent reinforcement learning, while a suite of seven task environments, hover, velocity tracking, multi-drone hover, waypoint navigation, formation flight, gate racing, and a generic multi-agent template, demonstrates the breadth of the interface. We describe the environment design, the underlying physics and quadcopter dynamics, and illustrate its use through control and learning examples that mirror those of the closely related gym-pybullet-drones project, while taking advantage of MuJoCo's improved contact handling, rendering, and parallelizability.


翻译:机器人仿真器是空中机器人现代研究的基石,既是新型控制算法开发的载体,也是强化学习策略训练的数据源。然而,现有四旋翼学习环境常在物理保真度、多智能体支持与现代深度强化学习流水线所需的吞吐量之间面临权衡。本文提出MuJoCo-Drones-Gym,一个基于MuJoCo物理引擎构建、兼容Gymnasium的开源多无人机环境。该环境支持任意数量的Bitcraze Crazyflie 2.x纳米四旋翼,并通过模块化API允许用户选择:(i)物理模型(刚体MuJoCo、显式Python动力学,或地面效应、桨叶阻力、无人机间下洗气流等子集组合)、(ii)动作接口(单电机转速、集体归一化推力、速度设定点或PID航点指令),以及(iii)观测空间(运动状态向量、RGB/深度/分割相机或邻域邻接信息)。同时提供PettingZoo ParallelEnv封装器以支持即插即用的多智能体强化学习,并通过悬停、速度跟踪、多无人机悬停、航点导航、编队飞行、门框竞速及通用多智能体模板等七类任务环境,展示接口的广泛适用性。本文描述了环境设计、底层物理与四旋翼动力学,并通过与gym-pybullet-drones项目紧密相关的控制与学习示例演示其应用,同时利用MuJoCo改进的接触处理、渲染与并行化能力。

0
下载
关闭预览

相关内容

仿生机器人技术的军事应用
专知会员服务
14+阅读 · 2025年12月4日
《基于分层多智能体强化学习的逼真空战协同策略》
专知会员服务
48+阅读 · 2025年10月30日
未来人机编队(MUM-T)的机遇与挑战
专知会员服务
39+阅读 · 2024年12月27日
基于强化学习的无人机集群对抗策略推演仿真
专知会员服务
72+阅读 · 2024年4月14日
基于深度强化学习的多无人车系统编队控制
专知会员服务
46+阅读 · 2024年2月23日
基于多智能体博弈强化学习的无人机智能攻击策略生成模型
多智能体强化学习(MARL)近年研究概览
PaperWeekly
38+阅读 · 2020年3月15日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
面向2027年及未来的海军情报改革
专知会员服务
0+阅读 · 今天15:49
综述 | Self-Evolving Coding Agents:自进化编程智能体
专知会员服务
0+阅读 · 今天13:16
美海军陆战队将三型无人机整合入统一战场网络
专知会员服务
2+阅读 · 今天9:39
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
4+阅读 · 今天9:12
《战略战术化:一项综合性述评》
专知会员服务
2+阅读 · 今天9:08
相关VIP内容
仿生机器人技术的军事应用
专知会员服务
14+阅读 · 2025年12月4日
《基于分层多智能体强化学习的逼真空战协同策略》
专知会员服务
48+阅读 · 2025年10月30日
未来人机编队(MUM-T)的机遇与挑战
专知会员服务
39+阅读 · 2024年12月27日
基于强化学习的无人机集群对抗策略推演仿真
专知会员服务
72+阅读 · 2024年4月14日
基于深度强化学习的多无人车系统编队控制
专知会员服务
46+阅读 · 2024年2月23日
基于多智能体博弈强化学习的无人机智能攻击策略生成模型
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员