In partially known environments, robots must combine exploration to gather information with task planning for efficient execution. To address this challenge, we propose EPoG, an Exploration-based sequential manipulation Planning framework on Scene Graphs. EPoG integrates a graph-based global planner with a Large Language Model (LLM)-based situated local planner, continuously updating a belief graph using observations and LLM predictions to represent known and unknown objects. Action sequences are generated by computing graph edit operations between the goal and belief graphs, ordered by temporal dependencies and movement costs. This approach seamlessly combines exploration and sequential manipulation planning. In ablation studies across 46 realistic household scenes and 5 long-horizon daily object transportation tasks, EPoG achieved a success rate of 91.3%, reducing travel distance by 36.1% on average. Furthermore, a physical mobile manipulator successfully executed complex tasks in unknown and dynamic environments, demonstrating EPoG's potential for real-world applications.


翻译:在部分已知环境中,机器人必须将信息收集的探索过程与任务规划相结合以实现高效执行。为应对这一挑战,我们提出EPoG——一种基于场景图的探索式序列化操作规划框架。EPoG将基于图的全局规划器与基于大语言模型的情境局部规划器相集成,通过持续利用观测数据和LLM预测结果更新信念图,以表征已知与未知物体。通过计算目标图与信念图之间的图编辑操作,并依据时序依赖关系与移动成本进行排序,系统生成动作序列。该方法实现了探索与序列化操作规划的无缝融合。在涵盖46个真实家居场景与5项长时程日常物体搬运任务的消融实验中,EPoG取得了91.3%的成功率,平均移动距离减少36.1%。此外,实体移动机械臂在未知动态环境中成功执行了复杂任务,证明了EPoG在实际应用中的潜力。

0
下载
关闭预览

相关内容

数学上,序列是被排成一列的对象(或事件);这样每个元素不是在其他元素之前,就是在其他元素之后。这里,元素之间的顺序非常重要。
【牛津博士论文】在不确定环境中的情境化决策制定
专知会员服务
23+阅读 · 2025年11月20日
LLM 快速发展时代下图基础模型初探
专知会员服务
23+阅读 · 2024年9月2日
大语言模型视角下的智能规划方法综述
专知会员服务
136+阅读 · 2024年4月20日
有人/ 无人集群任务规划系统集成框架
专知会员服务
179+阅读 · 2023年6月14日
场景图生成:一个全面综述
专知会员服务
67+阅读 · 2022年1月4日
最新《图嵌入组合优化》综述论文,40页pdf
常用的模型集成方法介绍:bagging、boosting 、stacking
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
【学界】 李飞飞学生最新论文:利用场景图生成图像
GAN生成式对抗网络
15+阅读 · 2018年4月9日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员