Task-oriented handovers (TOH) are fundamental to effective human-robot collaboration, requiring robots to present objects in a way that supports the human's intended post-handover use. Existing approaches are typically based on object- or task-specific affordances, but their ability to generalize to novel scenarios is limited. To address this gap, we present AFT-Handover, a framework that integrates large language model (LLM)-driven affordance reasoning with efficient texture-based affordance transfer to achieve zero-shot, generalizable TOH. Given a novel object-task pair, the method retrieves a proxy exemplar from a database, establishes part-level correspondences via LLM reasoning, and texturizes affordances for feature-based point cloud transfer. We evaluate AFT-Handover across diverse task-object pairs, showing improved handover success rates and stronger generalization compared to baselines. In a comparative user study, our framework is significantly preferred over the current state-of-the-art, effectively reducing human regrasping before tool use. Finally, we demonstrate TOH on legged manipulators, highlighting the potential of our framework for real-world robot-human handovers.


翻译:面向任务的物体交接(TOH)是实现有效人机协作的基础,要求机器人以支持人类交接后预期使用意图的方式呈现物体。现有方法通常基于物体或任务特定的可供性,但其泛化至新场景的能力有限。为弥补这一不足,我们提出了AFT-Handover框架,该框架将大语言模型驱动可供性推理与高效的基于纹理的可供性迁移相结合,以实现零样本、可泛化的TOH。针对新的物体-任务组合,该方法从数据库中检索代理范例,通过LLM推理建立部件级对应关系,并纹理化可供性以实现基于特征的点云迁移。我们在多样化的任务-物体组合上评估AFT-Handover,结果显示相较于基线方法,其交接成功率显著提升且泛化能力更强。在对比性用户研究中,我们的框架明显优于当前最先进方法,有效减少了人类在使用工具前的重新抓取需求。最后,我们在腿式机械臂上演示了TOH,凸显了该框架在实际机器人-人类物体交接场景中的应用潜力。

0
下载
关闭预览

相关内容

面向空间机器人辅助操作的任务规划方法研究
专知会员服务
21+阅读 · 2025年2月10日
人形机器人深度:产业化渐行渐近,未来前景广阔
专知会员服务
39+阅读 · 2024年7月17日
《结合机器人行为以实现安全、智能的执行》
专知会员服务
16+阅读 · 2023年7月4日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
使用强化学习训练机械臂完成人类任务
AI研习社
14+阅读 · 2019年3月23日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
13+阅读 · 2016年12月31日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员