Nonprehensile manipulation, such as pushing and pulling, enables robots to move, align, or reposition objects that may be difficult to grasp due to their geometry, size, or relationship to the robot or the environment. Much of the existing work in nonprehensile manipulation relies on parallel-jaw grippers or tools such as rods and spatulas. In contrast, multi-fingered dexterous hands offer richer contact modes and versatility for handling diverse objects to provide stable support over the objects, which compensates for the difficulty of modeling the dynamics of nonprehensile manipulation. Therefore, we propose Geometry-aware Dexterous Pushing and Pulling(GD2P) for nonprehensile manipulation with dexterous robotic hands. We study pushing and pulling by framing the problem as synthesizing and learning pre-contact dexterous hand poses that lead to effective manipulation. We generate diverse hand poses via contact-guided sampling, filter them using physics simulation, and train a diffusion model conditioned on object geometry to predict viable poses. At test time, we sample hand poses and use standard motion planners to select and execute pushing and pulling actions. We perform extensive real-world experiments with an Allegro Hand and a LEAP Hand, demonstrating that GD2P offers a scalable route for generating dexterous nonprehensile manipulation motions with its applicability to different hand morphologies. Our project website is available at: geodex2p.github.io.


翻译:非抓取操作(如推和拉)能使机器人移动、对齐或重新定位那些因几何形状、尺寸或其与机器人及环境的关系而难以抓取的物体。现有非抓取操作研究多依赖平行爪夹持器或杆、铲等工具。相比之下,多指灵巧手可提供更丰富的接触模式与操作多样性,能以稳定支撑覆盖物体表面,从而弥补非抓取操作动力学建模的困难。为此,我们提出几何感知灵巧推拉方法(GD2P)用于灵巧手非抓取操作。通过将推拉问题重构为合成并学习接触前灵巧手姿态以达成有效操作,我们对此展开研究。利用接触引导采样生成多样化手部姿态,经物理仿真筛选后,训练以物体几何为条件的扩散模型预测可行姿态。测试阶段,采样手部姿态并采用标准运动规划器选择与执行推拉动作。我们使用Allegro手与LEAP手开展了大量真实世界实验,证明GD2P可扩展至不同手部形态,为生成灵巧非抓取操作运动提供可规模化方案。项目网站:geodex2p.github.io。

0
下载
关闭预览

相关内容

《机器人弹性物体感知技术研究》227页
专知会员服务
18+阅读 · 2025年11月20日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
【CMU博士论文】强化学习的泛化灵巧性,182页pdf
专知会员服务
42+阅读 · 2023年11月4日
【伯克利博士论文】机器人机械搜索的操作与感知策略
专知会员服务
16+阅读 · 2022年6月4日
【NeurIPS 2020】一种端到端全自由度抓取姿态估计网络简介
专知会员服务
20+阅读 · 2020年10月18日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
读扩散?写扩散?推拉架构一文搞定!
架构师之路
17+阅读 · 2019年2月1日
机器学习必备手册
机器学习研究会
19+阅读 · 2017年10月24日
【前沿】凌空手势识别综述
科技导报
12+阅读 · 2017年8月17日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
9+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员