In this paper, we study multi robot laser tag, a simplified yet practical shooting-game-style task. Classic modular approaches on these tasks face challenges such as limited observability and reliance on depth mapping and inter robot communication. To overcome these issues, we present an end-to-end visuomotor policy that maps images directly to robot actions. We train a high performing teacher policy with multi agent reinforcement learning and distill its knowledge into a vision-based student policy. Technical designs, including a permutation-invariant feature extractor and depth heatmap input, improve performance over standard architectures. Our policy outperforms classic methods by 16.7% in hitting accuracy and 6% in collision avoidance, and is successfully deployed on real robots. Code will be released publicly.


翻译:本文研究多机器人激光对抗这一简化而实用的射击类游戏任务。经典模块化方法在此类任务中面临观测能力有限、依赖深度建图及机器人间通信等挑战。为克服这些问题,我们提出一种端到端的视觉运动策略,可直接将图像映射为机器人动作。我们通过多智能体强化学习训练高性能教师策略,并将其知识蒸馏至基于视觉的学生策略中。包括置换不变特征提取器和深度热图输入在内的技术设计,使本方法在性能上超越了标准架构。我们的策略在命中准确率上优于经典方法16.7%,在碰撞规避上提升6%,并已成功部署于真实机器人平台。代码将公开发布。

0
下载
关闭预览

相关内容

《基于分层多智能体强化学习的逼真空战协同策略》
专知会员服务
40+阅读 · 2025年10月30日
多模态融合与视觉-语言模型:面向机器人视觉的综述
专知会员服务
35+阅读 · 2025年4月5日
基于强化学习的无人机集群对抗策略推演仿真
专知会员服务
70+阅读 · 2024年4月14日
《用于空战机动的分层多智能体强化学习》
专知会员服务
66+阅读 · 2023年10月5日
「人机对抗中的博弈学习方法」最新2022综述
专知会员服务
117+阅读 · 2022年9月11日
面向多智能体博弈对抗的对手建模框架
专知
18+阅读 · 2022年9月28日
综述 | 激光与视觉融合SLAM
计算机视觉life
18+阅读 · 2020年10月8日
计算机视觉方向简介 | 多目标跟踪算法(附源码)
计算机视觉life
15+阅读 · 2019年6月26日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
18+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
18+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员