To prevent potential bias in the paper review and selection process for conferences and journals, most include double blind review. Despite this, studies show that bias still exists. Recommendation algorithms for paper review also may have implicit bias. We offer three fair methods that specifically take into account author diversity in paper recommendation to address this. Our methods provide fair outcomes across many protected variables concurrently, in contrast to typical fair algorithms that only use one protected variable. Five demographic characteristics-gender, ethnicity, career stage, university rank, and geolocation-are included in our multidimensional author profiles. The Overall Diversity approach uses a score for overall diversity to rank publications. The Round Robin Diversity technique chooses papers from authors who are members of each protected group in turn, whereas the Multifaceted Diversity method chooses papers that initially fill the demographic feature with the highest importance. We compare the effectiveness of author diversity profiles based on Boolean and continuous-valued features. By selecting papers from a pool of SIGCHI 2017, DIS 2017, and IUI 2017 papers, we recommend papers for SIGCHI 2017 and evaluate these algorithms using the user profiles. We contrast the papers that were recommended with those that were selected by the conference. We find that utilizing profiles with either Boolean or continuous feature values, all three techniques boost diversity while just slightly decreasing utility or not decreasing. By choosing authors who are 42.50% more diverse and with a 2.45% boost in utility, our best technique, Multifaceted Diversity, suggests a set of papers that match demographic parity. The selection of grant proposals, conference papers, journal articles, and other academic duties might all use this strategy.


翻译:为防止会议和期刊的论文评审与选择过程中出现潜在偏见,大多数会议和期刊都采用双盲评审。尽管如此,研究表明偏见依然存在。论文评审的推荐算法也可能存在隐性偏见。我们提出了三种公平性方法,在论文推荐中特别考虑了作者的多样性。与仅使用单一受保护变量的典型公平算法不同,我们的方法能同时针对多个受保护变量提供公平结果。我们的多维作者档案包含五个人口统计学特征:性别、种族、职业阶段、大学排名和地理位置。整体多样性方法使用整体多样性分数对出版物进行排序。轮询多样性方法依次从每个受保护群体的作者中选取论文,而多面多样性方法则首先填补重要性最高的人口统计学特征进行论文选取。我们比较了基于布尔值与连续值特征构建的作者多样性档案的有效性。通过从SIGCHI 2017、DIS 2017和IUI 2017论文库中筛选论文,我们为SIGCHI 2017进行论文推荐,并利用用户档案评估这些算法。我们将推荐的论文与会议实际选定的论文进行对比。研究发现,无论是使用布尔值还是连续值特征构建的用户档案,三种方法都能提高多样性,同时仅略微降低甚至不降低效用。我们的最佳方法——多面多样性——通过选择多样性提升42.50%、效用提升2.45%的作者群体,推荐了一组符合人口统计均等性的论文。该策略可应用于基金申请书、会议论文、期刊文章以及其他学术任务的遴选。

0
下载
关闭预览

相关内容

专知会员服务
124+阅读 · 2020年9月8日
ICLR2023推荐系统投稿论文集锦
图与推荐
0+阅读 · 2022年11月15日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
LibRec 精选:推荐系统的论文与源码
LibRec智能推荐
14+阅读 · 2018年11月29日
【SIGIR2018】五篇对抗训练文章
专知
12+阅读 · 2018年7月9日
【论文】图上的表示学习综述
机器学习研究会
15+阅读 · 2017年9月24日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Arxiv
0+阅读 · 2023年6月14日
Arxiv
23+阅读 · 2018年8月3日
Arxiv
14+阅读 · 2018年4月18日
VIP会员
最新内容
《同步多无人机系统中的故障与通信》
专知会员服务
2+阅读 · 今天6:23
面向国防作战的最佳自主与蜂群无人机技术
专知会员服务
7+阅读 · 7月28日
《异构人类团队的协作决策过程混合建模研究》
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
5+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
9+阅读 · 7月27日
相关VIP内容
专知会员服务
124+阅读 · 2020年9月8日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
8+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
2+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
国家自然科学基金
0+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员