Coordinating a team of robots to reposition multiple objects in cluttered environments requires reasoning jointly about where robots should establish contact, how to manipulate objects once contact is made, and how to navigate safely and efficiently at scale. Prior approaches typically fall into two extremes -- either learning the entire task or relying on privileged information and hand-designed planners -- both of which struggle to handle diverse objects in long-horizon tasks. To address these challenges, we present a unified framework for collaborative multi-robot, multi-object non-prehensile manipulation that integrates flow-matching co-generation with anonymous multi-robot motion planning. Within this framework, a generative model co-generates contact formations and manipulation trajectories from visual observations, while a novel motion planner conveys robots at scale. Crucially, the same planner also supports coordination at the object level, assigning manipulated objects to larger target structures and thereby unifying robot- and object-level reasoning within a single algorithmic framework. Experiments in challenging simulated environments demonstrate that our approach outperforms baselines in both motion planning and manipulation tasks, highlighting the benefits of generative co-design and integrated planning for scaling collaborative manipulation to complex multi-agent, multi-object settings. Visit gco-paper.github.io for code and demonstrations.


翻译:在杂乱环境中协调机器人团队对多个物体进行重新定位,需要联合推理机器人应在何处建立接触、建立接触后如何操作物体,以及如何在大规模场景中安全高效地导航。现有方法通常陷入两个极端——要么学习整个任务,要么依赖特权信息和人工设计的规划器——两者都难以在长时程任务中处理多样化的物体。为解决这些挑战,我们提出了一个统一的协作式多机器人、多物体非抓取操作框架,该框架将流匹配协同生成与匿名多机器人运动规划相结合。在此框架中,生成模型根据视觉观测协同生成接触构型与操作轨迹,而新型运动规划器则实现大规模机器人调度。关键的是,该规划器同时支持物体层面的协调,将操作对象分配给更大的目标结构,从而在单一算法框架内统一了机器人层面与物体层面的推理。在具有挑战性的仿真环境中的实验表明,我们的方法在运动规划和操作任务上均优于基线,凸显了生成式协同设计与集成规划在将协作操作扩展到复杂多智能体、多物体场景中的优势。代码与演示请访问 gco-paper.github.io。

0
下载
关闭预览

相关内容

《基于图计算的多机器人协同研究》最新139页
专知会员服务
37+阅读 · 2025年5月28日
《拥挤与受限环境下机器人集群协同控制》150页
专知会员服务
21+阅读 · 2025年5月4日
《基于图计算的多机器人协调与协作​​》139页
专知会员服务
41+阅读 · 2025年4月19日
【斯坦福博士论文】协作多机器人学习算法
专知会员服务
17+阅读 · 2025年1月6日
【ETHZ博士论文】与多机器人系统的直观与高效互动
专知会员服务
19+阅读 · 2024年11月29日
《基于特质的多机器人协调建模》191页
专知会员服务
41+阅读 · 2024年6月10日
IROS2020|机器人自主探索与建图算法,代码已开源!
中国图象图形学报
34+阅读 · 2020年9月8日
基于车路协同的群体智能协同
智能交通技术
10+阅读 · 2019年1月23日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
13+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
20+阅读 · 2013年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员