Tool use often fails not because robots misidentify tools, but because grasps cannot withstand task-induced wrench. Existing vision-language manipulation systems ground tools and contact regions from language yet select grasps under quasi-static or geometry-only assumptions. During interaction, inertial impulse and lever-arm amplification generate wrist torque and tangential loads that trigger slip and rotation. We introduce inverse Tool-use Planning (iTuP), which selects grasps by minimizing predicted interaction wrench along a task-conditioned trajectory. From rigid-body mechanics, we derive torque, slip, and alignment penalties, and train a Stable Dynamic Grasp Network (SDG-Net) to approximate these trajectory-conditioned costs for real-time scoring. Across hammering, sweeping, knocking, and reaching in simulation and on hardware, SDG-Net suppresses induced torque up to 17.6%, shifts grasps below empirically observed instability thresholds, and improves real-world success by 17.5% over a compositional baseline. Improvements concentrate where wrench amplification dominates, showing that robot tool use requires wrench-aware grasp selection, not perception alone.


翻译:工具使用失败往往并非源于机器人对工具的误识别,而是由于抓取姿态无法承受任务产生的载荷力矩。现有的视觉语言操控系统虽能通过语言信息定位工具及接触区域,但其抓取选择通常基于准静态或纯几何假设。在交互过程中,惯性冲量与力臂放大效应会产生腕部扭矩与切向载荷,进而引发滑动与转动。本文提出逆向工具使用规划方法,通过最小化沿任务条件轨迹的预测交互载荷力矩来选择抓取姿态。基于刚体力学原理,我们推导出扭矩、滑动与对中惩罚项,并训练稳定动态抓取网络以近似这些轨迹条件约束的代价函数,实现实时抓取评分。在模拟与实体硬件上的敲击、清扫、推碰及够取任务中,稳定动态抓取网络将诱导扭矩抑制达17.6%,将抓取位置调整至经验观测的失稳阈值以下,并在实际场景中较组合式基线方法提升17.5%的成功率。性能提升主要集中在载荷放大效应显著的区域,这表明机器人工具使用需要具备载荷感知的抓取选择能力,而非仅依赖感知模块。

0
下载
关闭预览

相关内容

《机器人弹性物体感知技术研究》227页
专知会员服务
17+阅读 · 2025年11月20日
【牛津博士论文】在不确定环境中的情境化决策制定
专知会员服务
23+阅读 · 2025年11月20日
《人机协作集成模型中的不确定性捕获》博士论文
专知会员服务
23+阅读 · 2025年10月2日
具身智能学习综述:基于物理模拟器与世界模型的方法
专知会员服务
34+阅读 · 2025年7月2日
【NeurIPS 2020】一种端到端全自由度抓取姿态估计网络简介
专知会员服务
20+阅读 · 2020年10月18日
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
机器学习的可解释性:因果推理和稳定学习
DataFunTalk
13+阅读 · 2020年3月3日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
用PyTorch做物体检测和追踪
AI研习社
12+阅读 · 2019年1月6日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
实战 | 手把手教你用PyTorch实现图像描述(附完整代码)
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
0+阅读 · 今天14:22
《新兴技术武器化及其对全球风险的影响》
专知会员服务
8+阅读 · 4月29日
《帕兰泰尔平台介绍:信息分析平台》
专知会员服务
21+阅读 · 4月29日
相关资讯
浅谈主动学习(Active Learning)
凡人机器学习
32+阅读 · 2020年6月18日
机器学习的可解释性:因果推理和稳定学习
DataFunTalk
13+阅读 · 2020年3月3日
自动驾驶车辆定位技术概述|厚势汽车
厚势
10+阅读 · 2019年5月16日
深度学习中Attention Mechanism详细介绍:原理、分类及应用
深度学习与NLP
10+阅读 · 2019年2月18日
用PyTorch做物体检测和追踪
AI研习社
12+阅读 · 2019年1月6日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
实战 | 手把手教你用PyTorch实现图像描述(附完整代码)
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员