Autonomous mobile robots operating in complex, dynamic environments face the dual challenge of navigating large-scale, structurally diverse spaces with static obstacles while safely interacting with various moving agents. Traditional graph-based planners excel at long-range pathfinding but lack reactivity, while Deep Reinforcement Learning (DRL) methods demonstrate strong collision avoidance but often fail to reach distant goals due to a lack of global context. We propose Hybrid Motion Planning with Deep Reinforcement Learning (HMP-DRL), a hybrid framework that bridges this gap. Our approach utilizes a graph-based global planner to generate a path, which is integrated into a local DRL policy via a sequence of checkpoints encoded in both the state space and reward function. To ensure social compliance, the local planner employs an entity-aware reward structure that dynamically adjusts safety margins and penalties based on the semantic type of surrounding agents. We validate the proposed method through extensive testing in a realistic simulation environment derived from real-world map data. Comprehensive experiments demonstrate that HMP-DRL consistently outperforms other methods, including state-of-the-art approaches, in terms of key metrics of robot navigation: success rate, collision rate, and time to reach the goal. Overall, these findings confirm that integrating long-term path guidance with semantically-aware local control significantly enhances both the safety and reliability of autonomous navigation in complex human-centric settings.


翻译:在复杂动态环境中运行的自主移动机器人面临双重挑战:既要导航具有静态障碍物的大规模结构多样化空间,又要安全地与各类移动智能体进行交互。传统的基于图的规划器擅长长距离路径规划但缺乏反应能力,而深度强化学习方法虽展现出强大的避障能力,却常因缺乏全局上下文信息而无法抵达远距离目标。我们提出基于深度强化学习的混合运动规划框架,该混合框架有效弥合了这一鸿沟。我们的方法利用基于图的全局规划器生成路径,并通过编码在状态空间与奖励函数中的一系列检查点将其整合至局部深度强化学习策略中。为确保社会合规性,局部规划器采用实体感知的奖励结构,该结构能依据周围智能体的语义类型动态调整安全边界与惩罚项。我们在基于真实地图数据构建的逼真仿真环境中通过大量测试验证了所提方法。综合实验表明,在机器人导航的关键指标——成功率、碰撞率与抵达目标耗时方面,HMP-DRL 始终优于包括最先进方法在内的其他方法。总体而言,这些发现证实:将长期路径引导与语义感知的局部控制相结合,能显著提升复杂人本环境中自主导航的安全性与可靠性。

0
下载
关闭预览

相关内容

无人飞行器自主决策与规划技术综述
专知会员服务
44+阅读 · 2024年3月11日
面向机器人系统的虚实迁移强化学习综述
专知会员服务
44+阅读 · 2024年2月8日
「强化学习在无人车领域」的应用与展望
专知会员服务
58+阅读 · 2022年12月8日
专知会员服务
65+阅读 · 2021年4月22日
前沿:水下机器人及其导航系统
科学出版社
11+阅读 · 2019年6月22日
深度学习在自动驾驶感知领域的应用
AI100
11+阅读 · 2019年3月6日
智能无人作战系统的发展
科技导报
36+阅读 · 2018年6月29日
李克强:智能车辆运动控制研究综述
厚势
21+阅读 · 2017年10月17日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
50+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
50+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员