The intraclass correlation coefficient (ICC) is among the most widely used statistics in reliability research, playing a central role in medical measurement, psychological assessment, and behavioral science. However, practical application of ICC faces two major obstacles. First, ICC can be organized into multiple forms under the McGraw and Wong (1996) framework -- including six widely reported standard forms and four additional design combinations -- and researchers must select the appropriate form based on their study design, yet existing guidelines are not always operationalized in software interfaces. Second, available R tools are highly fragmented: sample size calculation, ICC estimation with confidence intervals, and reliability evaluation are distributed across separate packages, compelling researchers to switch between tools and increasing the risk of analytical errors. This paper introduces the ICCDesign package, designed specifically to provide an integrated workflow for ICC-based reliability studies with continuous responses, assuming one continuous rating per subject-rater cell. The package integrates four core functionalities: (1) point estimation, ANOVA-based confidence intervals, and implemented hypothesis tests for supported ICC design combinations following the McGraw and Wong (1996) framework, with a built-in four-step decision framework guiding users toward an appropriate ICC form; (2) sample size planning based on Zou's (2012) closed-form formulas, supporting two planning modes and an inverse assurance calculation; (3) automated reliability evaluation based on Koo and Li (2016) criteria, with an uncertainty notification when the confidence interval spans the 0.75 good-reliability threshold; and (4) an interactive Shiny web application covering the main analysis and planning functionalities. ICCDesign is available from GitHub at https://github.com/KlariZhang/ICCDesign.


翻译:组内相关系数(ICC)是可靠性研究中最广泛使用的统计指标之一,在医学测量、心理评估和行为科学中发挥着核心作用。然而,ICC的实际应用面临两大障碍。首先,在McGraw与Wong(1996)的框架下,ICC可组织为多种形式——包括六种广泛报告的标准形式及四种额外设计组合——研究者需根据研究设计选择适当形式,但现有指南在软件界面中未必完全实现。其次,可用的R工具高度碎片化:样本量计算、含置信区间的ICC估计及可靠性评估分散于不同程序包,迫使研究者在工具间切换,增加了分析错误风险。本文介绍专为解决连续响应(假设每个受试者-评分者单元格仅有一个连续评分)ICC可靠性研究提供集成工作流的ICCDesign程序包。该包整合四大核心功能:(1)基于McGraw与Wong(1996)框架,为支持的ICC设计组合提供点估计、基于ANOVA的置信区间及假设检验,内置四步决策框架引导用户选择合适ICC形式;(2)基于Zou(2012)闭合公式的样本量规划,支持两种规划模式及逆保证计算;(3)基于Koo与Li(2016)标准的自动化可靠性评估,当置信区间跨越0.75良好可靠性阈值时发出不确定性通知;(4)涵盖主要分析与规划功能的交互式Shiny网页应用。ICCDesign可从GitHub获取:https://github.com/KlariZhang/ICCDesign。

0
下载
关闭预览

相关内容

ICC:IEEE International Conference on Communications。 Explanation:IEEE国际通信会议。 Publisher:IEEE。 SIT: http://dblp.uni-trier.de/db/conf/icc/
专知会员服务
43+阅读 · 2021年8月20日
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
7+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
5+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
10+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
12+阅读 · 6月17日
相关VIP内容
专知会员服务
43+阅读 · 2021年8月20日
相关资讯
ICML2019机器学习顶会接受论文列表!
专知
10+阅读 · 2019年5月12日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员