As artificial intelligence (AI) tools become widely adopted, large language models (LLMs) are increasingly involved on both sides of decision-making processes, ranging from hiring to content moderation. This dual adoption raises a critical question: do LLMs systematically favor content that resembles their own outputs? Prior research in computer science has identified self-preference bias -- the tendency of LLMs to favor their own generated content -- but its real-world implications have not been empirically evaluated. We focus on the hiring context, where job applicants often rely on LLMs to refine resumes, while employers deploy them to screen those same resumes. Using a large-scale controlled resume correspondence experiment, we find that LLMs consistently prefer resumes generated by themselves over those written by humans or produced by alternative models, even when content quality is controlled. The bias against human-written resumes is particularly substantial, with self-preference bias ranging from 67% to 82% across major commercial and open-source models. To assess labor market impact, we simulate realistic hiring pipelines across 24 occupations. These simulations show that candidates using the same LLM as the evaluator are 23% to 60% more likely to be shortlisted than equally qualified applicants submitting human-written resumes, with the largest disadvantages observed in business-related fields such as sales and accounting. We further demonstrate that this bias can be reduced by more than 50% through simple interventions targeting LLMs' self-recognition capabilities. These findings highlight an emerging but previously overlooked risk in AI-assisted decision making and call for expanded frameworks of AI fairness that address not only demographic-based disparities, but also biases in AI-AI interactions.


翻译:随着人工智能工具被广泛采用,大型语言模型在从招聘到内容审核等决策过程的双方中日益参与。这种双重采用引发了一个关键问题:大型语言模型是否系统性地偏爱与其自身输出相似的内容?计算机科学领域的前期研究已识别出自我偏好偏差——大型语言模型倾向于偏爱自身生成内容的倾向——但其现实世界的影响尚未得到实证评估。我们聚焦于招聘场景,其中求职者常依赖大型语言模型完善简历,而雇主则部署这些模型筛选相同的简历。通过大规模受控简历对应实验,我们发现大型语言模型始终偏爱自身生成的简历,而非人类撰写的或由其他模型生成的简历,即使在内容质量得到控制的情况下也是如此。针对人类撰写简历的偏差尤为显著,在主流商业和开源模型中,自我偏好偏差范围从67%至82%。为评估劳动力市场影响,我们模拟了涵盖24个职业的现实招聘流程。这些模拟显示,使用与评估者相同大型语言模型的候选人,比提交人类撰写简历且资质相当的申请人,被列入候选名单的可能性高出23%至60%,其中在商业相关领域(如销售和会计)中观察到最大劣势。我们进一步证明,通过针对大型语言模型自我识别能力的简单干预措施,可将这种偏差减少超过50%。这些发现突显了人工智能辅助决策中一种新兴但此前被忽视的风险,并呼吁扩展人工智能公平性框架,以不仅解决人口统计层面的差异,还应对人工智能-人工智能互动中的偏差。

0
下载
关闭预览

相关内容

招聘是人力资源管理的一项职能,包括职位分析、职位发布、简历筛选、候选人面试、录用决策等。
【斯坦福博士论文】持续自我改进的人工智能
专知会员服务
14+阅读 · 3月22日
【博士论文】语言模型与人类偏好对齐,148页pdf
专知会员服务
32+阅读 · 2024年4月21日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
AI 经典书单 | 人工智能学习该读哪些书
七月在线实验室
35+阅读 · 2018年1月16日
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Arxiv
0+阅读 · 6月11日
VIP会员
最新内容
《通过小型无人机系统将情报能力“作战化”》
消耗优势:美军的“精确规模化”概念
专知会员服务
8+阅读 · 6月15日
《离线语言支持系统:面向空战战术决策》
专知会员服务
10+阅读 · 6月15日
相关VIP内容
相关基金
国家自然科学基金
6+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
25+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员