This paper presents a framework for learning vision-based robotic policies for contact-rich manipulation tasks that generalize spatially across task configurations. We focus on achieving robust spatial generalization of the policy for the peg-in-hole (PiH) task trained from a small number of demonstrations. We propose EquiContact, a hierarchical policy composed of a high-level vision planner (Diffusion Equivariant Descriptor Field, Diff-EDF) and a novel low-level compliant visuomotor policy (Geometric Compliant ACT, G-CompACT). G-CompACT operates using only localized observations (geometrically consistent error vectors (GCEV), force-torque readings, and wrist-mounted RGB images) and produces actions defined in the end-effector frame. Through these design choices, we show that the entire EquiContact pipeline is SE(3)-equivariant, from perception to force control. We also outline three key components for spatially generalizable contact-rich policies: compliance, localized policies, and induced equivariance. Real-world experiments on PiH, screwing, and surface wiping tasks demonstrate a near-perfect success rate and robust generalization to unseen spatial configurations, validating the proposed framework and principles. The experimental videos and more details can be found on the project website: https://equicontact.github.io/EquiContact-website/


翻译:本文提出了一种用于学习接触丰富操作任务的视觉机器人策略的框架,该框架能够在任务配置上实现空间泛化。我们专注于实现针对孔轴装配任务训练的、仅需少量演示的策略的鲁棒空间泛化。我们提出了EquiContact,一种由高层视觉规划器和新型低层顺应性视觉运动策略构成的分层策略。高层视觉规划器采用扩散等变描述符场,而低层策略称为几何顺应性ACT。G-CompACT仅使用局部化观测(几何一致误差向量、力-力矩读数以及腕部安装的RGB图像)进行操作,并产生定义在末端执行器坐标系中的动作。通过这些设计选择,我们证明了整个EquiContact流程,从感知到力控制,都是SE(3)等变的。我们还概述了实现空间可泛化的接触丰富策略的三个关键组成部分:顺应性、局部化策略和诱导等变性。在孔轴装配、拧螺丝和表面擦拭任务上的真实世界实验展示了接近完美的成功率以及对未见空间配置的鲁棒泛化能力,验证了所提出的框架和原则。实验视频和更多细节可在项目网站上找到:https://equicontact.github.io/EquiContact-website/

0
下载
关闭预览

相关内容

《基于Transformer的智能体的战术决策解释》
专知会员服务
39+阅读 · 2025年12月28日
《基于分层多智能体强化学习的逼真空战协同策略》
专知会员服务
39+阅读 · 2025年10月30日
【斯坦福博士论文】高精度操控的策略学习前沿研究
专知会员服务
22+阅读 · 2025年3月30日
【泡泡图灵智库】Detect-SLAM:目标检测和SLAM相互收益
泡泡机器人SLAM
14+阅读 · 2019年6月28日
TensorFlow seq2seq中的Attention机制(续)
深度学习每日摘要
15+阅读 · 2017年11月16日
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
117+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
VIP会员
相关VIP内容
《基于Transformer的智能体的战术决策解释》
专知会员服务
39+阅读 · 2025年12月28日
《基于分层多智能体强化学习的逼真空战协同策略》
专知会员服务
39+阅读 · 2025年10月30日
【斯坦福博士论文】高精度操控的策略学习前沿研究
专知会员服务
22+阅读 · 2025年3月30日
相关基金
国家自然科学基金
42+阅读 · 2015年12月31日
国家自然科学基金
117+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员