Visual imitation learning with 3D point clouds has advanced robotic manipulation by providing geometry-aware, appearance-invariant observations. However, point cloud-based policies remain highly sensitive to sensor noise, pose perturbations, and occlusion-induced artifacts, which distort geometric structure and break the equivariance assumptions required for robust generalization. Existing equivariant approaches primarily encode symmetry constraints into neural architectures, but do not explicitly correct noise-induced geometric deviations or enforce equivariant consistency in learned representations. We introduce EquiForm, a noise-robust SE(3)-equivariant policy learning framework for point cloud-based manipulation. EquiForm formalizes how noise-induced geometric distortions lead to equivariance deviations in observation-to-action mappings, and introduces a geometric denoising module to restore consistent 3D structure under noisy or incomplete observations. In addition, we propose a contrastive equivariant alignment objective that enforces representation consistency under both rigid transformations and noise perturbations. Built upon these components, EquiForm forms a flexible policy learning pipeline that integrates noise-robust geometric reasoning with modern generative models. We evaluate EquiForm on 16 simulated tasks and 4 real-world manipulation tasks across diverse objects and scene layouts. Compared to state-of-the-art point cloud imitation learning methods, EquiForm achieves an average improvement of 17.2% in simulation and 28.1% in real-world experiments, demonstrating strong noise robustness and spatial generalization.


翻译:基于三维点云的视觉模仿学习通过提供几何感知且外观不变的观测,推动了机器人操作的发展。然而,基于点云的策略对传感器噪声、位姿扰动以及遮挡引起的伪影仍然高度敏感,这些因素会扭曲几何结构并破坏鲁棒泛化所需的等变性假设。现有的等变方法主要将对称性约束编码到神经架构中,但并未显式地校正噪声引起的几何偏差或在学习表示中强制等变一致性。我们提出了EquiForm,一个用于基于点云操作的噪声鲁棒SE(3)等变策略学习框架。EquiForm形式化了噪声引起的几何畸变如何导致观测到动作映射中的等变性偏差,并引入了一个几何去噪模块,以在噪声或非完整观测下恢复一致的三维结构。此外,我们提出了一种对比等变对齐目标,该目标在刚性变换和噪声扰动下强制表示一致性。基于这些组件,EquiForm构建了一个灵活的策略学习流程,将噪声鲁棒的几何推理与现代生成模型相结合。我们在16个模拟任务和4个真实世界操作任务上评估了EquiForm,任务涵盖多种物体和场景布局。与最先进的点云模仿学习方法相比,EquiForm在模拟实验中平均性能提升17.2%,在真实世界实验中平均提升28.1%,展现了强大的噪声鲁棒性和空间泛化能力。

0
下载
关闭预览

相关内容

稀疏点云感知的表示学习
专知会员服务
7+阅读 · 2月9日
【牛津大学博士论文】学习理解大规模3D点云,191页pdf
专知会员服务
38+阅读 · 2023年6月22日
专知会员服务
34+阅读 · 2021年7月25日
专知会员服务
30+阅读 · 2020年9月21日
CVPR 2019 | PointConv:在点云上高效实现卷积操作
机器之心
10+阅读 · 2019年4月21日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员