For contact-intensive tasks, the ability to generate policies that produce comprehensive tactile-aware motions is essential. However, existing data collection and skill learning systems for dexterous manipulation often suffer from low-dimensional tactile information. To address this limitation, we propose DexTac, a visuo-tactile manipulation learning framework based on kinesthetic teaching. DexTac captures multi-dimensional tactile data-including contact force distributions and spatial contact regions-directly from human demonstrations. By integrating these rich tactile modalities into a policy network, the resulting contact-aware agent enables a dexterous hand to autonomously select and maintain optimal contact regions during complex interactions. We evaluate our framework on a challenging unimanual injection task. Experimental results demonstrate that DexTac achieves a 91.67% success rate. Notably, in high-precision scenarios involving small-scale syringes, our approach outperforms force-only baselines by 31.67%. These results underscore that learning multi-dimensional tactile priors from human demonstrations is critical for achieving robust, human-like dexterous manipulation in contact-rich environments.


翻译:对于接触密集型任务,生成能够产生全面触觉感知运动策略的能力至关重要。然而,现有的灵巧操作数据收集与技能学习系统通常受限于低维触觉信息。为应对这一局限,我们提出DexTac——一个基于动觉教学的视觉-触觉操作学习框架。DexTac直接从人类示教中捕获多维触觉数据,包括接触力分布与空间接触区域。通过将这些丰富的触觉模态整合到策略网络中,所得出的接触感知智能体使灵巧手能够在复杂交互过程中自主选择并保持最优接触区域。我们在具有挑战性的单手注射任务上评估了该框架。实验结果表明,DexTac实现了91.67%的成功率。值得注意的是,在涉及小尺寸注射器的高精度场景中,本方法比纯力控基线性能提升31.67%。这些结果证明,从人类示教中学习多维触觉先验对于在密集接触环境中实现鲁棒、类人的灵巧操作具有关键意义。

0
下载
关闭预览

相关内容

稀疏点云感知的表示学习
专知会员服务
7+阅读 · 2月9日
【博士论文】学习视觉-语言表示以实现多模态理解
专知会员服务
28+阅读 · 2025年2月8日
《视觉Transformers自监督学习机制综述》
专知会员服务
29+阅读 · 2024年9月2日
CALDERA 一款对手自动模拟工具
黑白之道
20+阅读 · 2019年9月17日
交互设计理论:视觉感知、认知摩擦、认知负荷和情境认知
人人都是产品经理
20+阅读 · 2018年5月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员