In order to train children's ability to ask curiosity-driven questions, previous research has explored designing specific exercises relying on providing semantic and linguistic cues to help formulate such questions. But despite showing pedagogical efficiency, this method is still limited as it relies on generating the said cues by hand, which can be a very costly process. In this context, we propose to leverage advances in the natural language processing field (NLP) and investigate the efficiency of using a large language model (LLM) for automating the production of the pedagogical content of a curious question-asking (QA) training. We study generating the said content using the "prompt-based" method that consists of explaining the task to the LLM in natural text. We evaluate the output using human experts annotations and comparisons with hand-generated content. Results suggested indeed the relevance and usefulness of this content. We also conduct a field study in primary school (75 children aged 9-10), where we evaluate children's QA performance when having this training. We compare 3 types of content : 1) hand-generated content that proposes "closed" cues leading to predefined questions; 2) GPT-3-generated content that proposes the same type of cues; 3) GPT-3-generated content that proposes "open" cues leading to several possible questions. We see a similar QA performance between the two "closed" trainings (showing the scalability of the approach using GPT-3), and a better one for participants with the "open" training. These results suggest the efficiency of using LLMs to support children in generating more curious questions, using a natural language prompting approach that affords usability by teachers and other users not specialists of AI techniques. Furthermore, results also show that open-ended content may be more suitable for training curious question-asking skills.


翻译:为培养儿童提出好奇心驱动问题的能力,先前研究探索了通过提供语义和语言线索来设计特定练习,以帮助构建这类问题。尽管该方法展现出教学有效性,但仍存在局限性:人工生成上述线索成本高昂。在此背景下,我们提出利用自然语言处理领域的最新进展,探究使用大型语言模型自动化生成好奇心提问训练教学内容的效率。我们采用"提示式"方法生成教学内容,即通过自然语言向LLM解释任务。通过人工专家标注及与人工生成内容的对比评估输出结果,结果验证了该内容的相关性与实用性。我们还在小学进行实地研究(75名9-10岁儿童),评估儿童在接受训练后的提问能力表现。比较三种内容类型:1)人工生成的"封闭式"线索(引导至预设问题);2)GPT-3生成的同类"封闭式"线索;3)GPT-3生成的"开放式"线索(导向多种可能问题)。两种"封闭式"训练下儿童的提问能力表现相似(表明使用GPT-3方法具有可扩展性),而接受"开放式"训练的参与者在能力表现上更优。这些结果表明,采用自然语言提示方法(便于教师及非AI技术人员使用)借助LLM能有效支持儿童提出更具好奇心的问题。此外,研究还显示开放式内容可能更适用于训练好奇心提问技能。

0
下载
关闭预览

相关内容

【MIT博士论文】多模态模型学习语言,138页pdf
专知会员服务
58+阅读 · 2022年12月23日
Artificial Intelligence: Ready to Ride the Wave? BCG 28页PPT
专知会员服务
28+阅读 · 2022年2月20日
EMNLP 2021 | 学习改写非自回归机器翻译的翻译结果
专知会员服务
16+阅读 · 2021年12月25日
专知会员服务
30+阅读 · 2020年9月18日
强化学习三篇论文 避免遗忘等
CreateAMind
20+阅读 · 2019年5月24日
微软机器阅读理解在一场多轮对话挑战中媲美人类
微软丹棱街5号
19+阅读 · 2019年5月14日
逆强化学习-学习人先验的动机
CreateAMind
16+阅读 · 2019年1月18日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Transformers in Medical Image Analysis: A Review
Arxiv
40+阅读 · 2022年2月24日
VIP会员
最新内容
AgentOps综述:智能体系统运维框架
专知会员服务
0+阅读 · 49分钟前
《美陆军最新条令:兵力防护》
专知会员服务
1+阅读 · 今天14:43
《人工智能的挑战:算法战的想象与现实》
专知会员服务
1+阅读 · 今天14:26
首场人工智能战争:Maven如何重塑武装冲突
专知会员服务
2+阅读 · 今天14:12
《通往人工通用智能之路上的均衡策略》
专知会员服务
7+阅读 · 6月3日
《Palantir的科技生态系统》
专知会员服务
17+阅读 · 6月2日
相关基金
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
4+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员