The rapid adoption of generative AI tools has heightened concerns regarding academic integrity, as students increasingly engage in dishonest practices by copying or paraphrasing AI-generated content. Existing plagiarism detection systems, which rely primarily on text-intrinsic features, are ineffective at identifying AI-assisted or paraphrased submissions. Our prior conference work introduced a behavioral detection approach that leverages how text is produced, captured through keystroke dynamics, in addition to what is written, enabling discrimination between genuine and assisted writing. That study, conducted on keystroke data from 40 participants, demonstrated promising performance. This paper substantially extends and systemizes the prior work by: (1) expanding the dataset with 90 additional participants and introducing an explicit paraphrasing condition to model realistic plagiarism strategies; (2) formalizing a threat model and evaluating detection under adversarial and deception-oriented scenarios; and (3) performing a comprehensive empirical comparison against state-of-the-art text-only detectors and human evaluators. Experimental results demonstrate that keystroke-based models significantly outperform text-based approaches in practical deployment settings, while revealing limitations under more challenging adversarial conditions.


翻译:生成式人工智能工具的快速普及加剧了学术诚信方面的担忧,因为学生越来越多地通过复制或改写人工智能生成的内容进行不诚实的实践。现有的抄袭检测系统主要依赖文本固有特征,在识别人工智能辅助或改写后的提交内容方面效果不佳。我们之前的会议工作引入了一种行为检测方法,该方法利用文本是如何产生的(通过击键动态捕捉),除了文本内容之外,从而能够区分真实写作和辅助写作。该研究基于40名参与者的击键数据,展示了有前景的性能。本文在之前工作的基础上进行了大幅扩展和系统化,具体包括:(1)将数据集扩展到90名额外参与者,并引入显式改写条件以模拟现实的抄袭策略;(2)形式化威胁模型,并评估在对抗性和欺骗性场景下的检测效果;(3)与最先进的纯文本检测器和人工评估者进行全面的实证比较。实验结果表明,在实际部署环境中,基于击键的模型显著优于基于文本的方法,同时在更具挑战性的对抗条件下揭示了其局限性。

0
下载
关闭预览

相关内容

LLMS4ALL:大语言模型在各学科科研与应用中的综述
专知会员服务
36+阅读 · 2025年10月4日
《利用大型语言模型检测社交平台上的网络欺凌行为》
专知会员服务
44+阅读 · 2024年1月23日
《深度伪造检测模型的准确性和鲁棒性》2023最新论文
专知会员服务
41+阅读 · 2023年10月29日
ISWC2020最佳论文《可解释假信息检测的链接可信度评价》
AAAI 2018 行为识别论文概览
极市平台
18+阅读 · 2018年3月20日
推荐|上交大推出Texygen:文本生成模型的基准测试平台
NLP中自动生产文摘(auto text summarization)
机器学习研究会
14+阅读 · 2017年10月10日
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
最新内容
美国军方使用的10种反无人机武器(2026年更新)
专知会员服务
4+阅读 · 今天4:07
认知战与交战性质的改变:神经战略视角
专知会员服务
5+阅读 · 5月8日
相关VIP内容
LLMS4ALL:大语言模型在各学科科研与应用中的综述
专知会员服务
36+阅读 · 2025年10月4日
《利用大型语言模型检测社交平台上的网络欺凌行为》
专知会员服务
44+阅读 · 2024年1月23日
《深度伪造检测模型的准确性和鲁棒性》2023最新论文
专知会员服务
41+阅读 · 2023年10月29日
ISWC2020最佳论文《可解释假信息检测的链接可信度评价》
相关基金
国家自然科学基金
4+阅读 · 2017年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员