Rendezvous is a critical task for multi-agent systems, requiring agents to coordinate to meet at an unspecified location. However, achieving this in fluid environments presents a challenge, as it remains unclear how agents can exploit underlying fluid kinematics to facilitate convergence. In this study, we adopt a multi-agent reinforcement learning (MARL) approach to develop physics-informed rendezvous strategies in vortical flows. Compared to a naive strategy, where agents navigate toward their counterparts, MARL strategies significantly improve the rendezvous rate. MARL strategies also show transferability across varying vortex intensities, vortex scales, and swarm sizes. By breaking the symmetry of the state-action map, MARL strategy leverages a non-intuitive mechanism that prevents agents from becoming trapped in separate vortices, thereby enhancing rendezvous success. Additionally, a heuristic strategy is extracted from the learned strategy and also outperforms the naive strategy. Furthermore, a theoretical analysis demonstrates that fluid deformation impedes the rendezvous process. Large finite-time Lyapunov exponents identify where fluid effects separate adjacent agents, suggesting that targets should be planned in weak-deformation regions. Our findings reveal the important role that agent-fluid interactions play in multi-agent tasks and highlight the MARL capability to explore swarm intelligence in complex flow environments.


翻译:会合是多智能体系统中的关键任务,要求智能体协调在未指定位置相遇。然而,在流体环境中实现这一目标具有挑战性,因为尚不清楚智能体如何利用底层流体运动学促进趋同。本研究采用多智能体强化学习(MARL)方法,开发了涡旋流动中具有物理感知的会合策略。与智能体相互导航的朴素策略相比,MARL策略显著提升了会合成功率。MARL策略还展现出在变化涡旋强度、涡旋尺度及群体规模下的可迁移性。通过打破状态-动作映射的对称性,MARL策略利用一种反直觉机制防止智能体被困于不同涡旋中,从而增强会合效果。此外,从学习策略中提取的启发式策略也优于朴素策略。进一步理论分析表明,流体形变会阻碍会合过程。大有限时间李雅普诺夫指数可识别流体效应分离相邻智能体的区域,提示应选择弱形变区域规划目标点。本研究揭示了智能体-流体交互在多智能体任务中的重要作用,并凸显了MARL在复杂流场中探索群体智能的能力。

0
下载
关闭预览

相关内容

多智能体强化学习中的稳健且高效的通信
专知会员服务
26+阅读 · 2025年11月17日
《分布式多智能体强化学习策略的可解释性研究》
专知会员服务
30+阅读 · 2025年11月17日
面向关系建模的合作多智能体深度强化学习综述
专知会员服务
42+阅读 · 2025年4月18日
开放环境下的协作多智能体强化学习进展综述
专知会员服务
35+阅读 · 2025年1月19日
自动驾驶中的多智能体强化学习综述
专知会员服务
48+阅读 · 2024年8月20日
《多智能体强化学习策略优化算法设计》226页
专知会员服务
67+阅读 · 2024年6月9日
多智能体学习中合作的综述
专知会员服务
75+阅读 · 2023年12月12日
「基于通信的多智能体强化学习」 进展综述
【综述】多智能体强化学习算法理论研究
深度强化学习实验室
16+阅读 · 2020年9月9日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
38+阅读 · 2020年3月15日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
DeepMind:用PopArt进行多任务深度强化学习
论智
30+阅读 · 2018年9月14日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
8+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
6+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
13+阅读 · 7月31日
相关VIP内容
多智能体强化学习中的稳健且高效的通信
专知会员服务
26+阅读 · 2025年11月17日
《分布式多智能体强化学习策略的可解释性研究》
专知会员服务
30+阅读 · 2025年11月17日
面向关系建模的合作多智能体深度强化学习综述
专知会员服务
42+阅读 · 2025年4月18日
开放环境下的协作多智能体强化学习进展综述
专知会员服务
35+阅读 · 2025年1月19日
自动驾驶中的多智能体强化学习综述
专知会员服务
48+阅读 · 2024年8月20日
《多智能体强化学习策略优化算法设计》226页
专知会员服务
67+阅读 · 2024年6月9日
多智能体学习中合作的综述
专知会员服务
75+阅读 · 2023年12月12日
相关资讯
「基于通信的多智能体强化学习」 进展综述
【综述】多智能体强化学习算法理论研究
深度强化学习实验室
16+阅读 · 2020年9月9日
多智能体强化学习(MARL)近年研究概览
PaperWeekly
38+阅读 · 2020年3月15日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
DeepMind:用PopArt进行多任务深度强化学习
论智
30+阅读 · 2018年9月14日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
相关基金
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
国家自然科学基金
18+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员