Effective physical human-robot interaction requires systems that are not only adaptable to user preferences but also transparent about their actions. This paper introduces BRIDGE, a system for bidirectional human-robot communication in physical assistance. Our method allows users to modify a robot's planned trajectory -- position, velocity, and force -- in real time using natural language. We utilize a large language model (LLM) to interpret any trajectory modifications implied by user commands in the context of the planned motion and conversation history. Importantly, our system provides verbal feedback in response to the user, either assuring any resulting changes or posing a clarifying question. We evaluated our method in a user study with 18 older adults across three assistive tasks, comparing BRIDGE to an ablation without verbal feedback and a baseline. Results show that participants successfully used the system to modify trajectories in real time. Moreover, the bidirectional feedback led to significantly higher ratings of interactivity and transparency, demonstrating that the robot's verbal response is critical for a more intuitive user experience. Videos and code can be found on our project website: https://bidir-comm.github.io/


翻译:有效的物理人机交互不仅需要系统能够适应用户偏好,还需要其行为具有透明度。本文介绍了BRIDGE,一个用于物理辅助任务的双向人机通信系统。我们的方法允许用户使用自然语言实时修改机器人的规划轨迹——包括位置、速度和力。我们利用大语言模型(LLM),在规划运动与对话历史的上下文中解析用户指令所隐含的任何轨迹修改。重要的是,我们的系统会向用户提供语言反馈,或确认修改结果,或提出澄清性问题。我们在一项有18名老年人参与的用户研究中评估了我们的方法,研究涵盖了三个辅助任务,并将BRIDGE与一个无语言反馈的消融版本以及一个基线系统进行了比较。结果表明,参与者能够成功使用该系统实时修改轨迹。此外,双向反馈使得交互性和透明度的评分显著更高,这证明了机器人的语言反馈对于获得更直观的用户体验至关重要。视频和代码可在我们的项目网站上找到:https://bidir-comm.github.io/

0
下载
关闭预览

相关内容

人类与人工智能战斗飞行员的交互研究
专知会员服务
23+阅读 · 2025年10月23日
美军人机交互研究和应用综述
专知会员服务
108+阅读 · 2023年10月22日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
解读!10篇人机交互领域高引论文合集
THU数据派
11+阅读 · 2019年11月14日
【论文笔记】基于强化学习的人机对话
专知
20+阅读 · 2019年9月21日
NLP实践:对话系统技术原理和应用
AI100
34+阅读 · 2019年3月20日
知识在检索式对话系统的应用
微信AI
32+阅读 · 2018年9月20日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
CCCF专栏文章:人机共融智能
中国计算机学会
15+阅读 · 2017年12月21日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
VIP会员
相关VIP内容
人类与人工智能战斗飞行员的交互研究
专知会员服务
23+阅读 · 2025年10月23日
美军人机交互研究和应用综述
专知会员服务
108+阅读 · 2023年10月22日
面向虚实融合的人机交互
专知会员服务
71+阅读 · 2023年6月25日
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员