Following an extensive simulation study comparing the operating characteristics of three different procedures used for establishing equivalence (the frequentist `TOST", the Bayesian "HDI-ROPE", and the Bayes factor interval null procedure), Linde et al. (2021) conclude with the recommendation that "researchers rely more on the Bayes factor interval null approach for quantifying evidence for equivalence." We redo the simulation study of Linde et al. (2021) in its entirety but with the different procedures calibrated to have the same predetermined maximum type 1 error rate. Our results suggest that the Bayes Factor, HDI-ROPE, and frequentist equivalence testing are all essentially equivalent when it comes to predicting equivalence. In general any advocating for frequentist testing as better or worse than Bayesian testing in terms of empirical findings seems dubious at best. If one decides on which underlying principle to subscribe to in tackling a given problem, then the method follows naturally. Bearing in mind that each procedure can be reverse-engineered from the others (at least approximately), trying to use empirical performance to argue for one approach over another seems like tilting at windmills.


翻译:Linde等人(2021年)在进行了广泛的模拟研究,比较了用于确定等同的三种不同程序(常客`TOST'、Bayesian“HDI-ROPE”和Bayes系数间隔无效程序)的操作特点之后,Linde等人(2021年)认为,“研究人员更多地依赖Bayes系数间隔无效方法来量化等同的证据。” 我们完全重新进行了Linde等人(2021年)的模拟研究,但调整了不同的程序,以得出相同的预先确定最大第1型误差率。 我们的结果表明,在预测等同时,Bayes系数、人类发展指数-ROPE和常客等同测试基本上都是等同的。 一般来说,任何主张常客测试比Bayesian测试好或差的实证结果都好的建议,似乎充其量是可疑的。如果一个人决定在解决某一特定问题时同意哪个基本原则,那么该方法就自然了。记住,每一种程序都可以从其他人那里(至少大约)反工程,试图用经验性表现来论证一种方法取代另一种方法,就像在风车倾斜。

0
下载
关闭预览

相关内容

因果推断,Causal Inference:The Mixtape
专知会员服务
110+阅读 · 2021年8月27日
【2021新书】编码艺术,Coding Art,284页pdf
专知会员服务
79+阅读 · 2021年1月10日
专知会员服务
52+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
129+阅读 · 2020年11月20日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
已删除
生物探索
3+阅读 · 2018年2月10日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
The Price of Majority Support
Arxiv
0+阅读 · 2022年1月28日
Measure Estimation in the Barycentric Coding Model
Arxiv
0+阅读 · 2022年1月28日
Arxiv
3+阅读 · 2018年2月24日
VIP会员
最新内容
《同步多无人机系统中的故障与通信》
专知会员服务
0+阅读 · 今天6:23
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
7+阅读 · 7月28日
《异构人类团队的协作决策过程混合建模研究》
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
5+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
9+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
12+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
7+阅读 · 7月26日
相关VIP内容
因果推断,Causal Inference:The Mixtape
专知会员服务
110+阅读 · 2021年8月27日
【2021新书】编码艺术,Coding Art,284页pdf
专知会员服务
79+阅读 · 2021年1月10日
专知会员服务
52+阅读 · 2020年12月14日
【干货书】机器学习速查手册,135页pdf
专知会员服务
129+阅读 · 2020年11月20日
强化学习最新教程,17页pdf
专知会员服务
182+阅读 · 2019年10月11日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
相关资讯
已删除
生物探索
3+阅读 · 2018年2月10日
【学习】Hierarchical Softmax
机器学习研究会
4+阅读 · 2017年8月6日
Top
微信扫码咨询专知VIP会员