Statistics helps scientists decide what their data show, but its most familiar tool, the $p$-value, is widely misunderstood. Between 2016 and 2026, professional bodies issued new guidance, and researchers developed or popularised alternatives and complements: compatibility intervals, equivalence tests, Bayes factors, and e-values that remain valid when data are checked repeatedly. Reporting rules for trials and reviews were also rewritten. Yet practice has changed little: in the biomedical literature, about 96\% of papers that report $p$-values still include at least one below 0.05. This review argues that much of the confusion comes from treating these numbers as interchangeable. Each inferential procedure carries an intended interpretation and, where applicable, a formal guarantee, such as a 5\% false-alarm rate, that holds only if the study was run and analysed in a particular way. We call this the Claim--Design--Guarantee framework: a result licenses a claim only when the claim, the design (assignment, sampling, monitoring, selection, and analysis), and the guarantee of the method are aligned. We trace the main developments of the decade, explain each tool in plain terms with formal details in boxes, and show with reproducible examples when the choice of tool changes the conclusion. For example, in a simulated two-group study with 100 interim looks, repeatedly applying an unadjusted $p<0.05$ rule produced false positives in 37.6\% of studies, whereas the particular anytime-valid e-value procedure we used produced 2.2\%, below its theoretical 5\% upper bound. We end with a decision tree, a method-selection table, and a step-by-step workflow linked to current reporting guidelines.


翻译:暂无翻译

0
下载
关闭预览

相关内容

【经典书】统计学中的因果推断,156页pdf
专知会员服务
99+阅读 · 2022年6月14日
【数据科学导论书】Introduction to Datascience,253页pdf
专知会员服务
50+阅读 · 2021年11月15日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
61+阅读 · 2019年10月17日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
VIP会员
最新内容
软件定义无人机蜂群给防空带来全新压力
专知会员服务
6+阅读 · 10月13日
《半自主无人地面战车的互操作性》66页
专知会员服务
6+阅读 · 10月13日
迈向更智慧的军事情报
专知会员服务
6+阅读 · 10月12日
《美国陆军2026年野战手册 2-0 情报》
专知会员服务
5+阅读 · 10月12日
《基于启发式算法求解武器-目标分配问题》
专知会员服务
7+阅读 · 10月12日
《美陆军最新条令出版物 2-0 情报》
专知会员服务
8+阅读 · 10月10日
电子战测试与训练靶场:战前验证战备状态
专知会员服务
3+阅读 · 10月10日
《美国陆军如何作战》46页最新报告
专知会员服务
10+阅读 · 10月10日
相关基金
国家自然科学基金
9+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员