Embodied agents require robust spatial intelligence to execute precise real-world manipulations. However, this remains a significant challenge, as current methods often struggle to accurately position objects in space. Collecting extensive data can help address this issue by enhancing the agent's spatial understanding. Nonetheless, obtaining such data with real robots is prohibitively expensive, and relying on simulation data frequently leads to visual generalization gaps during real-world deployment. To tackle these challenges, we propose ManiBox, a novel bounding-box-guided framework. By decoupling perception from policy generalization, ManiBox effectively reduces the Sim2Real gap, leverages Internet-scale data, and scales our policy data collection in simulation. Specifically, within ManiBox, the RL teacher policy efficiently generates scalable simulation data. The student policy is distilled from this data and takes bounding boxes as input, which is proven sufficient for determining objects' spatial positions, thus enabling zero-shot transfer to real robots. Comprehensive evaluations in both simulated and real-world environments demonstrate that ManiBox exhibits strong spatial generalization and adaptability across various manipulation tasks and settings. Furthermore, our empirical study provides preliminary verification of spatial scaling laws, i.e., the amount of data required for spatial generalization scales with spatial volume following a power-law relationship. At a given spatial volume level, the success rate of manipulation tasks follows Michaelis-Menten kinetics with respect to data volume, exhibiting a saturation effect as data increases. Our videos and code are available at https://thkkk.github.io/manibox


翻译:具身智能体需要强大的空间智能来执行精确的现实世界操作。然而,这仍然是一个重大挑战,因为现有方法通常难以在空间中准确定位物体。收集大量数据可以通过增强智能体的空间理解来帮助解决这一问题。然而,使用真实机器人获取此类数据成本极高,而依赖仿真数据则常常导致在现实世界部署时出现视觉泛化差距。为应对这些挑战,我们提出了ManiBox,一种新颖的边界框引导框架。通过将感知与策略泛化解耦,ManiBox有效缩小了仿真到现实的差距,利用了互联网规模的数据,并扩展了我们在仿真中的策略数据收集。具体而言,在ManiBox框架内,强化学习教师策略高效生成可扩展的仿真数据。学生策略从这些数据中蒸馏得到,并以边界框作为输入——这被证明足以确定物体的空间位置,从而实现向真实机器人的零样本迁移。在仿真和现实环境中的综合评估表明,ManiBox在各种操作任务和设置中展现出强大的空间泛化能力和适应性。此外,我们的实证研究初步验证了空间缩放定律,即空间泛化所需的数据量与空间体积遵循幂律关系。在给定空间体积水平下,操作任务的成功率随数据量变化遵循米氏动力学方程,随着数据增加呈现出饱和效应。我们的演示视频和代码可在 https://thkkk.github.io/manibox 获取。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员