Lane changing in dense traffic is a significant challenge for Connected and Autonomous Vehicles (CAVs). Existing lane change controllers primarily either ensure safety or collaboratively improve traffic efficiency, but do not consider these conflicting objectives together. To address this, we propose the Multi-Agent Safety Shield (MASS), designed using Control Barrier Functions (CBFs) to enable safe and collaborative lane changes. The MASS enables collaboration by capturing multi-agent interactions among CAVs through interaction topologies constructed as a graph using a simple algorithm. Further, a state-of-the-art Multi-Agent Reinforcement Learning (MARL) lane change controller is extended by integrating MASS to ensure safety and defining a customised reward function to prioritise efficiency improvements. As a result, we propose a lane change controller, known as MARL-MASS, and evaluate it in a congested on-ramp merging simulation. The results demonstrate that MASS enables collaborative lane changes with safety guarantees by strictly respecting the safety constraints. Moreover, the proposed custom reward function improves the stability of MARL policies trained with a safety shield. Overall, by encouraging the exploration of a collaborative lane change policy while respecting safety constraints, MARL-MASS effectively balances the trade-off between ensuring safety and improving traffic efficiency in congested traffic. The code for MARL-MASS is available with an open-source licence at https://github.com/hkbharath/MARL-MASS


翻译:在密集交通流中换道是网联自动驾驶车辆面临的一项重大挑战。现有换道控制器主要侧重于保障安全性或协同提升交通效率,但未能同时考虑这两个相互冲突的目标。为此,我们提出基于控制屏障函数设计的"多智能体安全屏障"方法,以实现安全协同的换道操作。该方法通过简单算法构建交互拓扑图,捕捉网联自动驾驶车辆间的多智能体交互,从而实现协同控制。进一步地,我们通过集成安全屏障来扩展最先进的多智能体强化学习换道控制器,在保障安全性的同时定义定制化奖励函数以优先提升效率。由此提出的换道控制器命名为MARL-MASS,并在拥堵匝道合流仿真场景中进行评估。结果表明,该方法通过严格遵循安全约束,能够实现具有安全保障的协同换道。此外,所提出的定制奖励函数提升了配备安全屏障的强化学习策略的稳定性。总体而言,MARL-MASS在遵守安全约束的前提下鼓励探索协同换道策略,有效平衡了拥堵交通中安全保障与效率提升之间的权衡。该代码已在https://github.com/hkbharath/MARL-MASS开源发布。

0
下载
关闭预览

相关内容

【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
我国智能网联汽车车路协同发展路线政策及示范环境研究
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
车路协同应用场景分析
智能交通技术
24+阅读 · 2019年4月13日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关资讯
【综述】交通流量预测,附15页论文下载
专知
23+阅读 · 2020年4月23日
自动驾驶技术解读——自动驾驶汽车决策控制系统
智能交通技术
30+阅读 · 2019年7月7日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
我国智能网联汽车车路协同发展路线政策及示范环境研究
自动驾驶汽车技术路线简介
智能交通技术
15+阅读 · 2019年4月25日
车路协同应用场景分析
智能交通技术
24+阅读 · 2019年4月13日
车路协同构建“通信+计算”新体系
智能交通技术
11+阅读 · 2019年3月26日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员