Grasping under limited sensing remains a fundamental challenge for real-world robotic manipulation, as vision and high-resolution tactile sensors often introduce cost, fragility, and integration complexity. This work demonstrates that reliable multifingered grasping can be achieved under extremely minimal sensing by relying solely on uniaxial fingertip force feedback and joint proprioception, without vision or multi-axis/tactile sensing. To enable such blind grasping, we employ an efficient teacher-student training pipeline in which a reinforcement-learned teacher exploits privileged simulation-only observations to generate demonstrations for distilling a transformer-based student policy operating under partial observation. The student policy is trained to act using only sensing modalities available at real-world deployment. We validate the proposed approach on real hardware across 18 objects, including both in-distribution and out-of-distribution cases, achieving a 98.3~$\%$ overall grasp success rate. These results demonstrate strong robustness and generalization beyond the simulation training distribution, while significantly reducing sensing requirements for real-world grasping systems.


翻译:在有限感知条件下的抓取仍然是现实世界机器人操作面临的根本挑战,因为视觉和高分辨率触觉传感器通常会带来成本、脆弱性和集成复杂性。本工作证明,仅依靠单轴指尖力反馈和关节本体感知,无需视觉或多轴/触觉传感,即可在极度简化的感知条件下实现可靠的多指抓取。为实现此类盲抓取,我们采用了一种高效的师生训练流程:其中通过强化学习训练的教师策略利用仅仿真可用的特权观测生成示范数据,用于蒸馏一个基于Transformer的学生策略,该策略在部分观测条件下运行。学生策略被训练为仅使用真实世界部署时可用的感知模态进行决策。我们在真实硬件上对18个物体(包括分布内和分布外情况)验证了所提方法,总体抓取成功率达到了98.3~$\%$。这些结果表明,该方法在仿真训练分布之外具有强大的鲁棒性和泛化能力,同时显著降低了现实世界抓取系统的感知需求。

0
下载
关闭预览

相关内容

【NeurIPS 2020】一种端到端全自由度抓取姿态估计网络简介
专知会员服务
20+阅读 · 2020年10月18日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【NeurIPS 2020】一种端到端全自由度抓取姿态估计网络简介
专知会员服务
20+阅读 · 2020年10月18日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员