As artificial intelligence (AI) tools become widely adopted, large language models (LLMs) are increasingly involved on both sides of decision-making processes, ranging from hiring to content moderation. This dual adoption raises a critical question: do LLMs systematically favor content that resembles their own outputs? Prior research in computer science has identified self-preference bias -- the tendency of LLMs to favor their own generated content -- but its real-world implications have not been empirically evaluated. We focus on the hiring context, where job applicants often rely on LLMs to refine resumes, while employers deploy them to screen those same resumes. Using a large-scale controlled resume correspondence experiment, we find that LLMs consistently prefer resumes generated by themselves over those written by humans or produced by alternative models, even when content quality is controlled. The bias against human-written resumes is particularly substantial, with self-preference bias ranging from 67% to 82% across major commercial and open-source models. To assess labor market impact, we simulate realistic hiring pipelines across 24 occupations. These simulations show that candidates using the same LLM as the evaluator are 23% to 60% more likely to be shortlisted than equally qualified applicants submitting human-written resumes, with the largest disadvantages observed in business-related fields such as sales and accounting. We further demonstrate that this bias can be reduced by more than 50% through simple interventions targeting LLMs' self-recognition capabilities. These findings highlight an emerging but previously overlooked risk in AI-assisted decision making and call for expanded frameworks of AI fairness that address not only demographic-based disparities, but also biases in AI-AI interactions.


翻译:随着人工智能工具被广泛采用,大语言模型在从招聘到内容审核等决策过程的两端日益参与其中。这种双向应用引发了一个关键问题:大语言模型是否会系统性地偏好与自身输出相似的内容?计算机科学领域先前的研究已发现自我偏好偏差——即大语言模型倾向于偏好自身生成内容的现象——但其现实影响尚未得到实证评估。本研究聚焦招聘场景,其中求职者常依赖大语言模型优化简历,而雇主则使用同类模型筛选这些简历。通过大规模受控简历对应实验,我们发现即使控制内容质量,大语言模型始终更偏好自身生成的简历,而非人类撰写或其他模型生成的简历。针对人工撰写简历的偏差尤为显著,在主流商业和开源模型中,自我偏好偏差率介于67%至82%之间。为评估劳动力市场影响,我们模拟了24个职业的真实招聘流程。模拟结果显示,使用与评估模型相同大语言模型的候选人,其进入面试名单的概率比提交人工撰写简历的同等资质申请者高出23%至60%,其中销售和会计等商业相关领域的劣势最为明显。我们进一步证明,通过针对大语言模型自我识别能力的简单干预措施,这种偏差可降低50%以上。这些发现揭示了人工智能辅助决策中一个新兴但先前被忽视的风险,并呼吁拓展人工智能公平性框架,使其不仅关注基于人口统计特征的差异,还需解决人工智能间交互过程中的偏差问题。

0
下载
关闭预览

相关内容

招聘是人力资源管理的一项职能,包括职位分析、职位发布、简历筛选、候选人面试、录用决策等。
通用人工智能:是什么?如何测试?如何实现?
专知会员服务
27+阅读 · 2024年6月19日
大规模语言模型的人类偏好学习综述
专知会员服务
42+阅读 · 2024年6月19日
【博士论文】语言模型与人类偏好对齐,148页pdf
专知会员服务
32+阅读 · 2024年4月21日
美智库最新报告:小数据人工智能潜力不可估量,39页pdf
专知会员服务
75+阅读 · 2021年11月18日
推荐|机器学习中的模型评价、模型选择和算法选择!
全球人工智能
10+阅读 · 2018年2月5日
AI 经典书单 | 人工智能学习该读哪些书
七月在线实验室
35+阅读 · 2018年1月16日
【强化学习】强化学习+深度学习=人工智能
产业智能官
55+阅读 · 2017年8月11日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
12+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员