With the growing use of large language models and conversational interfaces in human-robot interaction, robots' ability to answer user questions is more important than ever. We therefore introduce a dataset of 1,893 user questions for household robots, collected from 100 participants and organized into 12 categories and 70 subcategories. Most work in explainable robotics focuses on why-questions. In contrast, our dataset provides a wide variety of questions, from questions about simple execution details to questions about how the robot would act in hypothetical scenarios -- thus giving roboticists valuable insights into what questions their robot needs to be able to answer. To collect the dataset, we created 15 video stimuli and 7 text stimuli, depicting robots performing varied household tasks. We then asked participants on Prolific what questions they would want to ask the robot in each portrayed situation. In the final dataset, the most frequent categories are questions about task execution details (21.4%), the robot's capabilities (12.6%), and performance assessments (10.7%). Although questions about how robots would handle potentially difficult scenarios and ensure correct behavior are less frequent, users rank them as the most important for robots to be able to answer. Moreover, we find that users who identify as novices in robotics ask different questions than more experienced users. Novices are more likely to inquire about simple facts, such as what the robot did or the current state of the environment. As robots enter environments shared with humans and language becomes central to giving instructions and interaction, this dataset provides a valuable foundation for (i) identifying the information robots need to log and expose to conversational interfaces, (ii) benchmarking question-answering modules, and (iii) designing explanation strategies that align with user expectations.


翻译:随着大语言模型与对话式接口在人机交互中的广泛应用,机器人回答用户问题的能力比以往任何时候都更为重要。为此,我们构建了一个包含1,893个家庭机器人用户问题的数据集,这些问题从100名参与者中收集,并整理为12个大类与70个子类。现有可解释机器人学研究主要聚焦"为什么"类问题,而本数据集涵盖从简单执行细节到假设场景行为等多样化问题类型——为机器人学家提供了关于机器人应具备回答能力的关键洞察。为构建该数据集,我们制作了15个视频刺激材料与7个文本刺激材料,展示机器人执行多样化家务的场景,并通过Prolific平台邀请参与者针对每个场景描述向机器人提问。最终数据集显示,高频问题类别依次为:任务执行细节(21.4%)、机器人能力(12.6%)与性能评估(10.7%)。尽管用户较少询问机器人应对困难场景及确保正确行为的问题,但这类问题被用户评为最需要机器人回答的关键问题。此外,我们发现机器人领域的初学者与经验用户所提问题存在差异:初学者更倾向询问简单事实,如机器人已完成的操作或当前环境状态。随着机器人进入人类共享环境,语言成为指令下达与交互的核心载体,本数据集将为以下研究提供重要基础:(i)确定机器人需要记录并开放给对话式接口的信息;(ii)构建问答模块基准测试;(iii)设计与用户期望相符的解释策略。

0
下载
关闭预览

相关内容

机器人(英语:Robot)包括一切模拟人类行为或思想与模拟其他生物的机械(如机器狗,机器猫等)。狭义上对机器人的定义还有很多分类法及争议,有些电脑程序甚至也被称为机器人。在当代工业中,机器人指能自动运行任务的人造机器设备,用以取代或协助人类工作,一般会是机电设备,由计算机程序或是电子电路控制。

知识荟萃

精品入门和进阶教程、论文和代码整理等

更多

查看相关VIP内容、论文、资讯等
如何帮助人类理解机器人?哈佛、MIT专家为你解读
专知会员服务
30+阅读 · 2022年3月11日
机器学习的可解释性
专知会员服务
69+阅读 · 2020年12月18日
【机器学习课程】机器学习中的常识性问题
专知会员服务
76+阅读 · 2019年12月2日
机器学习数据集哪里找:优秀数据集来源盘点
云栖社区
12+阅读 · 2019年1月30日
剖析腾讯知文,智能问答机器人路在何方?
AI前线
12+阅读 · 2018年11月3日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
如何帮助人类理解机器人?哈佛、MIT专家为你解读
专知会员服务
30+阅读 · 2022年3月11日
机器学习的可解释性
专知会员服务
69+阅读 · 2020年12月18日
【机器学习课程】机器学习中的常识性问题
专知会员服务
76+阅读 · 2019年12月2日
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
15+阅读 · 2016年12月31日
国家自然科学基金
52+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
国家自然科学基金
50+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员