Effective robotic systems for long-horizon human-robot collaboration must adapt to a wide range of human partners, whose physical behavior, willingness to assist, and understanding of the robot's capabilities may change over time. This demands a tightly coupled communication loop that grants both agents the flexibility to propose, accept, or decline requests as they coordinate toward completing the task effectively. We apply a Mixed-Initiative dialog paradigm to Collaborative human-roBot teaming and propose MICoBot, a system that handles the common scenario where both agents, using natural language, take initiative in formulating, accepting, or rejecting proposals on who can best complete different steps of a task. To handle diverse, task-directed dialog, and find successful collaborative strategies that minimize human effort, MICoBot makes decisions at three levels: (1) a meta-planner considers human dialog to formulate and code a high-level collaboration strategy, (2) a planner optimally allocates the remaining steps to either agent based on the robot's capabilities (measured by a simulation-pretrained affordance model) and the human's estimated availability to help, and (3) an action executor decides the low-level actions to perform or words to say to the human. In physical robot trials with 18 unique human participants, MICoBot significantly improves task success and user experience over a pure LLM baseline and standard agent allocation models. See additional videos and materials at https://robin-lab.cs.utexas.edu/MicoBot/.


翻译:面向长时程人机协作的有效机器人系统必须适应广泛的人类合作伙伴,因为其物理行为、协助意愿及对机器人能力的理解可能随时间变化。这需要一个紧密耦合的通信循环,使双方在执行任务过程中能灵活地提出、接受或拒绝请求。我们将混合主动对话范式应用于协作式人机团队,提出MICoBot系统。该系统处理以下常见场景:双方通过自然语言主动发起、接受或拒绝关于谁能最优执行任务不同步骤的提议。为处理多样化的任务导向对话,并找到能最小化人类工作量的成功协作策略,MICoBot在三个层面进行决策:(1) 元规划器通过分析人类对话来制定并编码高层协作策略;(2) 规划器基于机器人能力(通过仿真预训练的可供性模型衡量)和人类预估协助可用性,将剩余步骤最优分配给任一主体;(3) 动作执行器决定执行的具体底层动作或向人类表达的语句。在18位不同人类参与者参与的实体机器人实验中,相较于纯LLM基线和标准智能体分配模型,MICoBot显著提升了任务成功率和用户体验。更多视频资料请访问:https://robin-lab.cs.utexas.edu/MicoBot/。

0
下载
关闭预览

相关内容

《多域人机交互研究》95页
专知会员服务
36+阅读 · 2025年6月2日
《军队和第一响应部门面临的人机协作挑战》
专知会员服务
34+阅读 · 2024年8月19日
《人机协作中的透明度和通信模式》175页
专知会员服务
36+阅读 · 2024年5月2日
军事领域中的人机协作研究综述
专知会员服务
208+阅读 · 2023年6月3日
【人机融合智能】人机融合智能的现状与展望
产业智能官
11+阅读 · 2020年3月18日
国外有人/无人平台协同作战概述
无人机
122+阅读 · 2019年5月28日
NLP实践:对话系统技术原理和应用
AI100
34+阅读 · 2019年3月20日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
VIP会员
相关资讯
【人机融合智能】人机融合智能的现状与展望
产业智能官
11+阅读 · 2020年3月18日
国外有人/无人平台协同作战概述
无人机
122+阅读 · 2019年5月28日
NLP实践:对话系统技术原理和应用
AI100
34+阅读 · 2019年3月20日
【混合智能】人机混合智能的哲学思考
产业智能官
12+阅读 · 2018年10月28日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
一文读懂智能对话系统
数据派THU
16+阅读 · 2018年1月27日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
相关基金
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
19+阅读 · 2012年12月31日
国家自然科学基金
48+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员