Peer review shapes which scientific claims enter the published record, but its internal dynamics are hard to measure at scale because reviewer criticism and author revision are usually embedded in long, unstructured correspondence. Here we use a fixed-prompt large language model pipeline to convert the review correspondence of \textit{Nature Communications} papers published from 2017 to 2024 into structured reviewer--author interactions. We find that review pressure is concentrated in the first round and focused disproportionately on core claims rather than peripheral presentation. Higher average opinion strength is also associated with more reviewer disagreement, while review patterns vary little with broad team attributes, consistent with relatively impartial evaluation. Contrary to the intuition that stronger papers should pass review more smoothly, with greater reviewer--author agreement and less extensive revision, we find that stronger criticism, higher-quality comments, and greater revision burden are associated with higher later citation impact within accepted papers. We finally show that fields differ more in review style than in review length, pointing to disciplinary variation in how criticism is negotiated and resolved. These findings position open peer review not just as a gatekeeping mechanism but as a measurable record of how influential scientific claims are challenged, defended, and revised before entering the published record.


翻译:同行评议决定了哪些科学主张能够进入正式出版的学术记录,但其内在机制难以大规模衡量——因为审稿人的批评意见与作者的修改过程通常隐含在冗长且非结构化的通信中。本研究采用固定提示的大语言模型流水线,将2017至2024年间《自然·通讯》期刊论文的评审通信转化为结构化的审稿人-作者交互数据。研究发现:评审压力集中于首轮审稿,且显著聚焦于论文核心主张而非边缘表述;较高的平均观点强度与更大的审稿人分歧相关,而评审模式随团队整体属性的变化甚微,这符合相对公正的评审特征。与“高质量论文应更顺利通过评审”的直觉相反(即审稿人与作者分歧更少、修订幅度更小),我们发现:在已发表的论文中,更尖锐的批评、更高质的意见及更大的修订负担反而与后续更高的引文影响力相关。最后,不同学科在评审风格上的差异显著大于评审篇幅差异,这揭示了各学科在批评协商与解决方式上的差异性。这些发现将开放同行评议定位为不仅是准入机制,更是科学主张在进入正式记录前如何被质疑、辩护及修改的可量化记录。

0
下载
关闭预览

相关内容

国家自然青年科学基金项目评议要点(2021版)
专知会员服务
39+阅读 · 2022年3月11日
最新SCI期刊影响因子出炉!
CVer
27+阅读 · 2020年7月1日
2019版CCF推荐国际学术会议和期刊目录发布!AI领域七大A类会议,你认同吗?
黑龙江大学自然语言处理实验室
10+阅读 · 2019年5月1日
机器翻译学术论文写作方法和技巧
清华大学研究生教育
11+阅读 · 2018年12月23日
BMC新举措,审稿过程更清晰,投稿更放心
科研圈
27+阅读 · 2018年10月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年8月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
34+阅读 · 2012年12月31日
国家自然科学基金
36+阅读 · 2008年12月31日
VIP会员
最新内容
学习数据的几何:形状空间分析数学综述
专知会员服务
1+阅读 · 50分钟前
定向能反无人机系统最新发展动态
专知会员服务
3+阅读 · 今天13:50
从燃煤战舰到算法战争:水面指挥的永恒要求
专知会员服务
2+阅读 · 今天13:33
相关VIP内容
国家自然青年科学基金项目评议要点(2021版)
专知会员服务
39+阅读 · 2022年3月11日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年8月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
34+阅读 · 2012年12月31日
国家自然科学基金
36+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员