Teleoperation is a key paradigm for transferring human dexterity to robots, yet most prior work targets objects that are initially static, such as grasping or manipulation. Dynamic object catch, where objects move before contact, remains underexplored. Pure teleoperation in this task often fails due to timing, pose, and force errors, highlighting the need for shared autonomy that combines human input with autonomous policies. To this end, we present Tele-Catch, a systematic framework for dexterous hand teleoperation in dynamic object catching. At its core, we design DAIM, a dynamics-aware adaptive integration mechanism that realizes shared autonomy by fusing glove-based teleoperation signals into the diffusion policy denoising process. It adaptively modulates control based on the interaction object state. To improve policy robustness, we introduce DP-U3R, which integrates unsupervised geometric representations from point cloud observations into diffusion policy learning, enabling geometry-aware decision making. Extensive experiments demonstrate that Tele-Catch significantly improves accuracy and robustness in dynamic catching tasks, while also exhibiting consistent gains across distinct dexterous hand embodiments and previously unseen object categories.


翻译:遥操作是将人类灵巧性迁移至机器人的关键范式,但现有研究多聚焦于初始静止的物体(如抓取或操作)。针对接触前存在运动的动态物体抓取任务,目前仍缺乏充分探索。纯遥操作在该任务中常因时序、姿态及力控制误差而失败,亟需融合人类输入与自主策略的共享控制机制。为此,我们提出Tele-Catch——面向动态物体抓取的灵巧手遥操作统一框架。其核心模块DAIM(动力学感知自适应集成机制)通过将数据手套的遥操作信号注入扩散策略去噪过程实现共享控制,并能根据交互物体状态自适应调节控制权重。为增强策略鲁棒性,我们提出DP-U3R,将点云观测的无监督几何表征融入扩散策略学习,实现几何感知决策。大量实验表明,Tele-Catch在动态抓取任务中显著提升了精度与鲁棒性,并在不同构型的灵巧手及未见物体类别上展现出一致的性能增益。

0
下载
关闭预览

相关内容

《机器人弹性物体感知技术研究》227页
专知会员服务
18+阅读 · 2025年11月20日
精确打击体系智能化的发展
专知会员服务
82+阅读 · 2024年1月15日
遥感智能信息处理的发展及技术前景
专知会员服务
28+阅读 · 2023年8月5日
【NeurIPS 2020】一种端到端全自由度抓取姿态估计网络简介
专知会员服务
20+阅读 · 2020年10月18日
国外有人/无人平台协同作战概述
无人机
123+阅读 · 2019年5月28日
智能无人作战系统的发展
科技导报
36+阅读 · 2018年6月29日
无人机飞行控制方法概述
无人机
12+阅读 · 2017年10月7日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
24+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员