摘要——本文提出了一种利用携网无人机集群拦截高机动无人机的解决方案。我们将该问题建模为竞争性多智能体强化学习(MARL)任务。针对非平稳性及智能体过度拟合当前对手策略导致的灾难性遗忘问题,采用带优先级虚拟自博弈(PFSP)的多智能体近端策略优化(MAPPO)算法对追捕者与逃逸者进行训练。在高保真仿真环境中,我们使用集总推力与机体角速率(CTBR)底层控制指令对智能体进行训练,以实现追捕者与逃逸者的高机动飞行。通过捕获率、捕获耗时及坠机率等指标,将训练所得策略与启发式基线进行对比,结果表明本方案性能更优。消融实验证明,PFSP能生成适应性更强的策略,有效应对不同对手战术;而底层控制指令对于学习追逃任务中的高性能策略至关重要。最后,对习得行为的定性分析揭示了追捕者之间涌现出的协同战术。

图1:采用多智能体竞争性强化学习方法,训练携网追捕无人机集群与逃逸无人机实现高机动追逃对抗。追捕者与逃逸者均习得底层控制策略,使其能够在高保真仿真环境中执行动态机动。

利用自主无人机拦截高机动空中目标,是机器人技术与安全防御领域的关键挑战。随着无人机非法侵入限制空域的事件日益频发,空域防护、关键基础设施安保及重大活动安全保障等应用场景,亟需能够以最小附带损伤制服未授权无人机的解决方案[1]。搭载捕获网的拦截无人机集群是一种极具前景的技术路径,但其成效取决于针对规避目标的先进控制与协同能力。

传统拦截方法依赖精确模型、预设策略或可预测的目标行为[2]。然而,现代四旋翼无人机可执行大过载动态机动,并能主动规避捕获,导致传统方法失效[3]。

深度强化学习(RL)的最新进展表明,无人机能够通过与环境的交互自主学习高机动飞行行为。RL训练的策略已在无人机竞速领域展现出超越人类的性能,智能体可在复杂赛道中以动态机动完成导航[4]。但无人机竞速通常面对静态或可预测的障碍门,而拦截任务要求智能体响应主动规避捕获的对抗性目标。与此同时,多智能体强化学习在竞争环境中取得了显著成功,尤其在复杂博弈领域[5][6]。

本研究将携网追捕无人机集群与高机动逃逸目标之间的对抗建模为竞争性MARL任务。相较于现有文献,本文的主要贡献如下:

  • 提出一种基于底层控制的竞争性MARL框架,实现多追捕无人机对高机动逃逸目标的协同拦截。
  • 为追捕者与逃逸者设计优先级虚拟自博弈训练机制,以学习针对多样化对手的鲁棒策略。
  • 通过广泛的仿真实验证明,本方案性能优于标准基线方法。

论文后续章节安排如下:第二节综述无人机集群拦截的相关研究;第三节阐述强化学习与竞争性自博弈的理论基础;第四节详述训练方法;第五节展示实验结果并进行对比分析;第六节总结全文并展望未来研究方向。

成为VIP会员查看完整内容
2

相关内容

军事防务数据板块介绍:系统化采集、存储、管理、分析与军事国防安全相关信息的专用数据板块,其核心在于整合全球新兴国防技术(军事人工智能、无人系统等)、热点案例(俄乌战争、美以伊战争)等方面的最新时讯、研究报告/论文、条令法规、案例分析,为战略研判、情报分析、决策支持等提供知识支撑。
《抗干扰协同无人机中继网络的多智能体深度强化学习》
专知会员服务
28+阅读 · 2025年12月31日
基于多智能体深度强化学习的无人艇集群博弈对抗研究
专知会员服务
66+阅读 · 2024年5月11日
基于强化学习的无人机集群对抗策略推演仿真
专知会员服务
72+阅读 · 2024年4月14日
基于多智能体博弈强化学习的无人机智能攻击策略生成模型
基于态势演化博弈的无人机集群动态攻防
专知会员服务
101+阅读 · 2023年9月3日
【综述】多智能体强化学习算法理论研究
深度强化学习实验室
16+阅读 · 2020年9月9日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
38+阅读 · 2020年3月15日
无人机蜂群作战技术与多智能体系统理论
无人机
43+阅读 · 2019年1月27日
无人机集群对抗研究的关键问题
无人机
68+阅读 · 2018年9月16日
无人机蜂群作战概念研究
无人机
66+阅读 · 2018年7月9日
智能无人机集群技术概述
无人机
47+阅读 · 2018年2月28日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
14+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
12+阅读 · 2010年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
美海军陆战队将三型无人机整合入统一战场网络
专知会员服务
2+阅读 · 今天9:39
《无人机蜂群:释放人类-蜂群编队的潜能》
专知会员服务
3+阅读 · 今天9:12
《战略战术化:一项综合性述评》
专知会员服务
2+阅读 · 今天9:08
美陆军-工业界协同推进反无人机系统技术发展
专知会员服务
1+阅读 · 今天8:46
《跨域指挥背景下的领导力发展》最新报告
专知会员服务
1+阅读 · 今天8:40
俄乌无人机战争的六大启示
专知会员服务
10+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
8+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
相关资讯
【综述】多智能体强化学习算法理论研究
深度强化学习实验室
16+阅读 · 2020年9月9日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
38+阅读 · 2020年3月15日
无人机蜂群作战技术与多智能体系统理论
无人机
43+阅读 · 2019年1月27日
无人机集群对抗研究的关键问题
无人机
68+阅读 · 2018年9月16日
无人机蜂群作战概念研究
无人机
66+阅读 · 2018年7月9日
智能无人机集群技术概述
无人机
47+阅读 · 2018年2月28日
相关基金
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
26+阅读 · 2015年12月31日
国家自然科学基金
11+阅读 · 2013年12月31日
国家自然科学基金
14+阅读 · 2013年12月31日
国家自然科学基金
21+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
12+阅读 · 2010年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
微信扫码咨询专知VIP会员