Can targeted user training unlock the productive potential of generative artificial intelligence (GenAI) in professional settings? We investigate this question using a randomized study involving 164 law students completing an issue-spotting examination. Participants were assigned to one of three conditions: no GenAI access, optional access to a large language model (LLM), or optional access accompanied by an approximately ten-minute training intervention. Training significantly increased LLM adoption--the usage rate rose from 26% to 41%--and improved examination performance. Students with trained access scored 0.27 grade points higher than those with untrained access (p = 0.027), equivalent to roughly one-third of a letter grade. By contrast, access to an LLM without training did not improve performance and was associated with shorter answers relative to no access. Using principal stratification, we decompose the overall effect into adoption and effectiveness channels. Point estimates are consistent with training operating primarily by expanding the scope of GenAI use rather than by enhancing effectiveness among existing users, though confidence intervals are wide. Overall, our findings provide evidence that complementary investments in user training are critical for realizing GenAI productivity gains in knowledge-intensive fields where concerns about reliability may inhibit adoption.


翻译:针对性的用户培训能否在专业环境中释放生成式人工智能(GenAI)的生产力潜力?我们通过一项随机研究探讨了这一问题,该研究涉及164名法学院学生完成一项问题识别测试。参与者被分配到以下三种条件之一:无GenAI访问权限、可选择访问大型语言模型(LLM),或可选择访问并辅以约十分钟的培训干预。培训显著提高了LLM的采纳率——使用率从26%上升至41%——并提升了测试表现。接受培训后获得访问权限的学生比未受培训即获得访问权限的学生成绩高出0.27个等级分(p = 0.027),约相当于一个字母等级的三分之一。相比之下,未经培训直接使用LLM不仅未能提升表现,且其答案长度相较于无访问权限组更短。通过主分层分析,我们将整体效应分解为采纳渠道和效能渠道。点估计结果表明,培训主要通过扩大GenAI的使用范围而非提升现有用户的使用效能来发挥作用,尽管置信区间较宽。总体而言,我们的研究结果证明,在那些因可靠性顾虑而可能抑制技术采纳的知识密集型领域,对用户培训的配套投入对于实现GenAI的生产力增益至关重要。

0
下载
关闭预览

相关内容

《生成式人工智能及其在防御性网络安全课程中的应用》
专知会员服务
17+阅读 · 2025年10月30日
用于自动驾驶的生成式人工智能:前沿与机遇
专知会员服务
26+阅读 · 2025年5月16日
生成式人工智能在可视化中的应用:现状与未来方向
专知会员服务
41+阅读 · 2024年6月8日
《评估生成式人工智能的红队方法》最新37页长综述
专知会员服务
56+阅读 · 2024年5月27日
可解释生成人工智能 (GenXAI):综述、概念化与研究议程
专知会员服务
39+阅读 · 2024年4月19日
人工智能Paper精读班,视频讲解+代码实现
AINLP
17+阅读 · 2019年5月31日
人工智能在教育领域的应用探析
MOOC
14+阅读 · 2019年3月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
VIP会员
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
7+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
国家自然科学基金
23+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员