With the rapid adoption of AI writing assistants in education, educators and researchers need empirical evidence to understand the impact on student writing and inform effective pedagogical design. Despite widespread use, we lack systematic understanding of how students engage with these tools during authentic writing tasks: when they seek assistance, what they ask, and how they incorporate AI-generated content into their essays. This gap limits evidence-based policy development and rigorous evaluation of generative AI's learning effects. To address this gap, we introduce NIRVANA, a dataset capturing how university students use generative AI while writing an analytical essay. The dataset includes 77 students who completed an essay task with access to ChatGPT, recording keystroke-level writing behavior, full ChatGPT conversation histories, and all text copied from ChatGPT, enabling a complete reconstruction of the writing process and revealing how AI assistance shapes student work. Our analysis identifies key behavioral patterns, including variation in ChatGPT query frequency and its relationship to essay characteristics such as length and readability. We identify four writing profiles based on students' contribution and revision patterns: Lead Authors, Collaborators, Drafters, and Vibe Writers. To support deeper investigation, we developed a replay interface that reconstructs the writing process; qualitative analysis of sampled replays demonstrates how this tool enables systematic examination of student-AI interactions.


翻译:随着AI写作助手在教育领域的快速普及,教育工作者和研究人员需要实证证据来理解其对学术写作的影响,并为有效的教学法设计提供依据。尽管应用广泛,我们仍缺乏对学生在此类真实写作任务中如何与这些工具互动的系统性认知:他们在何时寻求帮助、提出何种问题、以及如何将AI生成内容融入论文。这一空白限制了基于证据的政策制定和生成式AI学习效果的严谨评估。为填补这一空白,我们推出数据集NIRVANA,该数据集记录了大学生在撰写分析性论文过程中使用生成式AI的行为。数据集包含77名在完成论文任务时可使用ChatGPT的学生,记录了按键级写作行为、完整的ChatGPT对话历史及所有从ChatGPT复制的文本,从而实现对写作过程的完整复现,揭示AI辅助如何塑造学生的工作成果。我们的分析识别出关键行为模式,包括ChatGPT查询频率的变化及其与论文特征(如长度、可读性)的关联。基于学生的贡献与修订模式,我们划分出四类写作画像:主导作者、协作者、草稿生成者与氛围写作者。为支持深度研究,我们开发了一个回放界面,可重构写作过程;对采样回放数据的定性分析表明,该工具能够系统考察学生与AI的互动。

0
下载
关闭预览

相关内容

AI可解释性文献列表
专知
43+阅读 · 2019年10月7日
人工智能训练师的再定义
竹间智能Emotibot
10+阅读 · 2019年5月15日
完备的 AI 学习路线,最详细的资源整理!
新智元
18+阅读 · 2019年5月4日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
机器翻译学术论文写作方法和技巧
清华大学研究生教育
11+阅读 · 2018年12月23日
Java 工程师快速入门深度学习,可以从 Deeplearning4j 开始
人工智能头条
13+阅读 · 2018年12月14日
【深度学习】深度学习的核心:掌握训练数据的方法
产业智能官
12+阅读 · 2018年1月14日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Arxiv
27+阅读 · 2023年3月17日
VIP会员
相关主题
最新内容
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
4+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
相关VIP内容
相关资讯
AI可解释性文献列表
专知
43+阅读 · 2019年10月7日
人工智能训练师的再定义
竹间智能Emotibot
10+阅读 · 2019年5月15日
完备的 AI 学习路线,最详细的资源整理!
新智元
18+阅读 · 2019年5月4日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
机器翻译学术论文写作方法和技巧
清华大学研究生教育
11+阅读 · 2018年12月23日
Java 工程师快速入门深度学习,可以从 Deeplearning4j 开始
人工智能头条
13+阅读 · 2018年12月14日
【深度学习】深度学习的核心:掌握训练数据的方法
产业智能官
12+阅读 · 2018年1月14日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
23+阅读 · 2016年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员