Bad writing hinders the publication of science. The role of artificial intelligence (AI) in generating and editing scientific texts remains unsettled. Abstracts serve as the critical gateway to scientific manuscripts, often shaping readers' interest. We inspect how individuals revise AI-generated abstracts compared to human-authored abstracts when incentivized to communicate scientific content. Using 869 keystroke-level edit logs with 240k total edits, we construct behavioral labels and measure linguistic properties of edit bursts to investigate the edit trajectories. AI abstracts exhibit higher sentence-level agency, whereas human-authored abstracts outperform in global coherence, even with edits. Experts engage in stigmatic behavior, switching their strategy from predominantly restructuring to substitution when AI source is disclosed. Language Models (LMs) improve edit outcomes through a mix of local and global features, but still actively struggle with global coherence. Both humans and LMs often target the weakest sections of abstracts, but fail to improve stronger areas. Our large-scale process-oriented evaluation highlights the perks and pitfalls of both human and LM editing processes as machine-generated texts emerge in scientific communication.


翻译:糟糕的写作阻碍了科学成果的发表。人工智能在生成和编辑科学文本中的作用仍悬而未决。摘要作为科学手稿的关键入口,常常影响读者的兴趣。我们考察了当个人被激励去传达科学内容时,他们如何修改AI生成的摘要与人类撰写的摘要。利用包含24万次编辑的869个击键级编辑日志,我们构建行为标签并测量编辑突发行为的语言学特性,以探究编辑轨迹。AI摘要展现出更高的句子层级能动性,而人类撰写的摘要即使在经过编辑后,在全局连贯性方面仍然表现更优。当披露AI来源时,专家会呈现污名化行为,将其策略从主要重构转变为替换。语言模型通过融合局部和全局特征改善了编辑效果,但在全局连贯性方面仍面临显著挑战。人类和语言模型通常都针对摘要中最薄弱的环节进行编辑,但未能改善较强部分。我们的大规模面向流程评估揭示了在机器生成文本出现于科学交流领域时,人类与语言模型编辑过程的优劣之处。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
【AI4Science】Nature刊文综述人工智能时代的科学发现
专知会员服务
74+阅读 · 2023年8月8日
AI可解释性文献列表
专知
43+阅读 · 2019年10月7日
面试题:文本摘要中的NLP技术
七月在线实验室
15+阅读 · 2019年5月13日
机器翻译学术论文写作方法和技巧
清华大学研究生教育
11+阅读 · 2018年12月23日
可能是 Android 上最好用的写作 App
少数派
11+阅读 · 2018年12月21日
如何用人工智能帮你找论文?
AI100
10+阅读 · 2018年2月21日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月11日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
7+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
5+阅读 · 6月17日
相关VIP内容
《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
【AI4Science】Nature刊文综述人工智能时代的科学发现
专知会员服务
74+阅读 · 2023年8月8日
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员