The scientific peer review system has been slowly deteriorating over the last years, and not just within empirical software engineering (ESE) research. Increased submission numbers, high workload, and the rise of generative AI use with all its associated issues have made many cracks in the system more visible. To get a better understanding of the current state of peer review in the ESE community, we conducted a questionnaire survey, which accumulated 120 responses. We report on (i) the perceived review load of community members, (ii) review quality perception as well as frequent challenges for and issues with reviews, (iii) the use of LLM-based tools in the reviewing process, and (iv) the community's suggestions for improving the peer review system. We hope that these community opinions can facilitate more evidence-based discussions about how people want to see the review system change for the better.


翻译:近年来,科学同行评审体系一直在缓慢退化,这不仅仅发生在实证软件工程(ESE)研究领域。投稿数量的增加、繁重的工作负担,以及生成式人工智能应用及其相关问题的涌现,使得该体系的诸多缺陷愈发显现。为了深入了解实证软件工程社区内同行评审的当前状况,我们开展了一项问卷调查,共收集到120份回复。本文报告了:(i)社区成员感知到的评审负荷;(ii)评审质量感知以及评审中经常遇到的挑战与问题;(iii)基于大语言模型的工具在评审过程中的使用情况;(iv)社区对改进同行评审体系的建议。我们希望这些社区意见能推动更多基于证据的讨论,探讨人们希望如何更好地推动评审体系的变革。

0
下载
关闭预览

相关内容

《AI生成视频评估综述》
专知会员服务
28+阅读 · 2024年10月30日
发展负责任的生成式人工智能研究报告及共识文件(2023)
人工智能系统可信性度量评估研究综述
专知会员服务
96+阅读 · 2022年1月30日
《人工智能安全测评白皮书》,99页pdf
专知
36+阅读 · 2022年2月26日
Distributional Soft Actor-Critic (DSAC)强化学习算法的设计与验证
深度强化学习实验室
20+阅读 · 2020年8月11日
ACL 2019 | 微软8篇精选论文解读,一览最新研究进展
微软研究院AI头条
12+阅读 · 2019年6月28日
【软件工程】软件工程的智能化和知识化
产业智能官
10+阅读 · 2019年6月21日
2019版CCF推荐国际学术会议和期刊目录发布!AI领域七大A类会议,你认同吗?
黑龙江大学自然语言处理实验室
10+阅读 · 2019年5月1日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月15日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
7+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
8+阅读 · 6月17日
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
6+阅读 · 6月17日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员