Large language models (LLMs) have become popular writing tools among students and may expand access to high-quality feedback for students with less access to traditional writing support. At the same time, LLMs may standardize student voice or invite overreliance. This study examines how adoption of LLM-assisted writing varies across socioeconomic groups and how it relates to outcomes in a high-stakes context: U.S. college admissions. We analyze a de-identified longitudinal dataset of applications to a selective university from 2020 to 2024 (N = 81,663). Estimating LLM use using a distribution-based detector trained on synthetic and historical essays, we tracked how student writing changed as LLM use proliferated, how adoption differed by socioeconomic status (SES), and whether potential benefits translated equitably into admissions outcomes. Using fee-waiver status as a proxy for SES, we observe post-2023 convergence in surface-level linguistic features, with the largest changes in fee-waived and rejected applicants. Estimated LLM use rose sharply in 2024 across all groups, with disproportionately larger increases among lower SES applicants, consistent with an access hypothesis in which LLMs substitute for scarce writing support. However, increased estimated LLM use was more strongly associated with declines in predicted admission probability for lower SES applicants than for higher SES applicants, even after controlling for academic credentials and stylometric features. These findings raise concerns about equity and the validity of essay-based evaluation in an era of AI-assisted writing and provide the first large-scale longitudinal evidence linking LLM adoption, linguistic change, and evaluative outcomes in college admissions.


翻译:大型语言模型(LLM)已成为学生中流行的写作工具,可能为那些难以获得传统写作支持的学生提供获取高质量反馈的途径。与此同时,LLM也可能导致学生写作风格趋同或引发过度依赖。本研究探讨了在高等教育招生这一高风险情境中,LLM辅助写作的采用如何因社会经济群体而异,及其与录取结果的关系。我们分析了一个2020年至2024年间向一所选拔性大学提交的匿名纵向申请数据集(N = 81,663)。通过使用基于分布、在合成与历史文书上训练的检测器来估计LLM使用情况,我们追踪了随着LLM使用的普及,学生写作如何变化,不同社会经济地位(SES)群体的采用差异,以及潜在益处是否公平地转化为录取结果。以申请费豁免状态作为SES的代理变量,我们观察到2023年后表层语言特征的趋同,其中费用豁免申请者和被拒申请者的变化最为显著。2024年所有群体的估计LLM使用率均急剧上升,低SES申请者的增长幅度尤为突出,这与“接入假说”一致,即LLM替代了稀缺的写作支持资源。然而,即使在控制了学业成绩和文体计量特征后,估计LLM使用率的增加与低SES申请者录取预测概率下降的关联,仍比高SES申请者更为强烈。这些发现引发了关于AI辅助写作时代中公平性及文书评估有效性的担忧,并首次提供了大规模纵向证据,揭示了大学招生中LLM采用、语言变化与评估结果之间的关联。

0
下载
关闭预览

相关内容

人类接受高层次教育、进行原创性研究的场所。 现在的大学一般包括一个能授予硕士和博士学位的研究生院和数个专业学院,以及能授予学士学位的一个本科生院。大学还包括高等专科学校
【斯坦福博士论文】大语言模型的AI辅助评估
专知会员服务
31+阅读 · 2025年3月30日
面向统计学家的大型语言模型概述
专知会员服务
32+阅读 · 2025年3月16日
数据与多模态大型语言模型的协同作用综述
专知会员服务
58+阅读 · 2024年7月13日
《大语言模型与生成式人工智能》2024最新95页
专知会员服务
86+阅读 · 2024年2月16日
自然语言处理中的语言模型预训练方法
PaperWeekly
14+阅读 · 2018年10月21日
NLP通用模型诞生?一个模型搞定十大自然语言常见任务
人工智能头条
10+阅读 · 2018年6月29日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员