Computational reproducibility, the possibility for independent researchers to exactly reproduce published empirical results, is fundamental to science. Despite its importance, the proportion of research articles aiming for reproducibility remains low and uneven across disciplines. Barriers include a perceived lack of incentives for researchers and journals, practical challenges in preparing reproducible materials, and the absence of harmonised standards of reproducibility processes and requirements by journals. Existing guidance is often highly technical, reaching mainly those already engaged with reproducible research. In this paper, we first synthesize evidence on the benefits of reproducibility for both authors and journals. Drawing on our extensive experience in reproducibility checking at various journals, we then put forward concise, pragmatic guidelines for creating reproducible analyses across disciplines. We further review current reproducibility policies of selected journals, illustrating the substantial heterogeneity in requirements and procedures. Motivated by the latter, we propose conceptual foundations for a harmonised multi-tier system of reproducibility standards that could support transparent, consistent assessment across journals and research communities. Our goal as journal (reproducibility) editors and contributors to the MaRDI initiative is to encourage broader adoption of reproducibility practices, in particular by lowering practical barriers for authors and journals.


翻译:计算可重复性——即独立研究者能够精确复现已发表实证结果的可能性——是科学研究的基石。尽管其重要性不言而喻,但以可重复性为目标的研究论文比例仍然偏低,且在不同学科间分布不均。主要障碍包括:研究者与期刊普遍认为缺乏激励措施、准备可重复性材料面临的实际挑战,以及期刊界在可重复性流程与要求方面缺乏统一标准。现有指南往往过于技术化,主要吸引的是已经参与可重复性研究的人员。本文首先综合论证了可重复性对作者和期刊的双重益处。基于我们在多家期刊进行可重复性核查的丰富经验,我们进而提出了一套简洁实用的跨学科可重复分析创建指南。我们还系统评述了部分期刊现行的可重复性政策,揭示了当前要求与程序存在的显著异质性。基于此现状,我们提出了一个分层协调的可重复性标准体系的概念框架,该体系有望支持跨期刊与研究社区的透明化、一致性评估。作为期刊(可重复性)编辑及MaRDI倡议的参与者,我们的目标是通过降低作者和期刊面临的实际障碍,推动可重复性实践在更广泛范围内的采纳。

0
下载
关闭预览

相关内容

可解释人工智能的基础
专知会员服务
32+阅读 · 2025年10月26日
【斯坦福博士论文】计算受限的持续学习:基础与算法
专知会员服务
25+阅读 · 2025年6月23日
【2023新书】算法与设计复杂度,196页pdf
专知会员服务
77+阅读 · 2023年3月31日
机器学习的可解释性
专知会员服务
179+阅读 · 2020年8月27日
如何3天读完并复现一篇经典顶会论文?
计算机视觉life
14+阅读 · 2020年7月22日
深度学习可解释性研究进展
专知
19+阅读 · 2020年6月26日
类脑计算的前沿论文,看我们推荐的这7篇
人工智能前沿讲习班
21+阅读 · 2019年1月7日
【学界】机器学习模型的“可解释性”到底有多重要?
GAN生成式对抗网络
12+阅读 · 2018年3月3日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 2月9日
VIP会员
相关VIP内容
可解释人工智能的基础
专知会员服务
32+阅读 · 2025年10月26日
【斯坦福博士论文】计算受限的持续学习:基础与算法
专知会员服务
25+阅读 · 2025年6月23日
【2023新书】算法与设计复杂度,196页pdf
专知会员服务
77+阅读 · 2023年3月31日
机器学习的可解释性
专知会员服务
179+阅读 · 2020年8月27日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
21+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员