In human factor fields such as human-computer interaction (HCI), psychology, and behavioral sciences, researchers have been concerned that participant samples are skewed toward WEIRD, i.e., participants mostly come from Western, Educated, Industrialized, Rich, and Democratic societies. This WEIRD skew may affect the generalizability of study results and hinder understanding of diverse participant populations and their cultural differences. The usable privacy and security (UPS) field has inherited many research methodologies from research on human factor fields such as HCI. We conducted a literature review to understand the extent to which participant samples in UPS papers were WEIRD and the characteristics of the methodologies and research topics in each user study recruiting Western or non-Western participants. We found that the skew toward WEIRD in UPS is greater than that in HCI. Geographic and linguistic barriers in the study methods and recruitment methods may cause researchers to conduct a user study locally. In addition, many papers did not report participant demographics, which could hinder the replication of the reported studies, leading to low reproducibility. We provide the following suggestions to improve geographic diversity: facilitate replication studies, improve reproducibility, address issues of study and recruiting methods, diversify researchers, and facilitate research on the topics for non-WEIRD populations.


翻译:在人类因素领域如人机交互、心理学和行为科学中,研究者一直担忧参与者样本偏向于WEIRD群体,即参与者大多来自西方、教育程度高、工业化、富裕和民主社会。这种WEIRD偏向可能影响研究结果的普适性,并阻碍对多样化参与者群体及其文化差异的理解。可用隐私与安全领域继承了人机交互等人类因素领域的许多研究方法。我们通过文献综述来了解UPS论文中参与者样本的WEIRD程度,以及招募西方或非西方参与者的每项用户研究中方法论和研究主题的特征。我们发现UPS中的WEIRD偏向比HCI更为严重。研究方法与招募过程中的地理和语言障碍可能导致研究者仅在本地开展用户研究。此外,许多论文未报告参与者的人口统计信息,这可能阻碍所报告研究的复现,导致低可重复性。我们提出以下建议以改善地理多样性:促进复现研究、提高可重复性、解决研究与招募方法的问题、实现研究者多样化,并推动针对非WEIRD群体主题的研究。

0
下载
关闭预览

相关内容

Into the Metaverse,93页ppt介绍元宇宙概念、应用、趋势
专知会员服务
49+阅读 · 2022年2月19日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
机器学习入门的经验与建议
专知会员服务
94+阅读 · 2019年10月10日
【哈佛大学商学院课程Fall 2019】机器学习可解释性
专知会员服务
105+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
0+阅读 · 2023年6月22日
Arxiv
67+阅读 · 2022年4月13日
Arxiv
31+阅读 · 2022年2月15日
Arxiv
37+阅读 · 2021年9月28日
Arxiv
33+阅读 · 2021年3月8日
Arxiv
38+阅读 · 2020年3月10日
VIP会员
最新内容
ICML 2026 | CFPO:用反事实策略优化提升多模态推理
专知会员服务
1+阅读 · 今天14:45
综述 | 世界动作模型:少做梦,多行动
专知会员服务
1+阅读 · 今天14:43
美以伊冲突:无人机与人工智能的运用
专知会员服务
3+阅读 · 今天14:31
《特种部队在透明战场中的生存力》最新报告
专知会员服务
2+阅读 · 今天14:11
《人工智能生成的零日漏洞:对未来作战的影响》
综述 | 3D场景图:开放挑战与未来方向
专知会员服务
8+阅读 · 6月22日
21世纪的无人机战争
专知会员服务
4+阅读 · 6月22日
《量子技术的军事任务技术适配与利用》
专知会员服务
5+阅读 · 6月22日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
强化学习的Unsupervised Meta-Learning
CreateAMind
18+阅读 · 2019年1月7日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
大数据 | 顶级SCI期刊专刊/国际会议信息7条
Call4Papers
10+阅读 · 2018年12月29日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
Capsule Networks解析
机器学习研究会
11+阅读 · 2017年11月12日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
相关基金
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员