Synthetic face generation has rapidly advanced with the emergence of text-to-image (T2I) and of multimodal large language models, enabling high-fidelity image production from natural-language prompts. Despite the widespread adoption of these tools, the biases, representational quality, and cross-cultural consistency of these models remain poorly understood. Prior research on biases in the synthetic generation of human faces has examined demographic biases, yet there is little research on how emotional prompts influence demographic representation and how models trained in different cultural and linguistic contexts vary in their output distributions. We present a systematic audit of eight state-of-the-art T2I models comprising four models developed by Western organizations and four developed by Chinese institutions, all prompted identically. Using state-of-the-art facial analysis algorithms, we estimate the gender, race, age, and attractiveness levels in the generated faces. To measure the deviations from global population statistics, we apply information-theoretic bias metrics including Kullback-Leibler and Jensen-Shannon divergences. Our findings reveal persistent demographic and emotion-conditioned biases in all models regardless of their country of origin. We discuss implications for fairness, socio-technical harms, governance, and the development of transparent generative systems.


翻译:随着文本到图像(T2I)模型和多模态大语言模型的出现,合成人脸生成技术迅速发展,能够根据自然语言提示生成高保真度的图像。尽管这些工具已被广泛采用,但人们对这些模型的偏见、表征质量以及跨文化一致性仍知之甚少。先前关于人脸合成生成中偏见的研究已考察了人口统计学偏见,但关于情绪提示如何影响人口统计学表征,以及在不同文化和语言背景下训练的模型在其输出分布上如何变化的研究却很少。我们对八个最先进的T2I模型进行了系统性审计,其中包括四个由西方组织开发的模型和四个由中国机构开发的模型,并对所有模型使用完全相同的提示。利用最先进的面部分析算法,我们估算了生成人脸中的性别、种族、年龄和吸引力水平。为了衡量其与全球人口统计数据的偏差,我们应用了信息论偏见度量,包括Kullback-Leibler散度和Jensen-Shannon散度。我们的研究结果表明,所有模型都存在持续的人口统计学偏见和情绪条件化偏见,且与其来源国无关。我们讨论了这对公平性、社会技术危害、治理以及透明生成系统发展的影响。

0
下载
关闭预览

相关内容

文本到图像合成:十年回顾
专知会员服务
31+阅读 · 2024年11月26日
【博士论文】语言模型与人类偏好对齐,148页pdf
专知会员服务
32+阅读 · 2024年4月21日
人脸合成技术综述
专知会员服务
25+阅读 · 2021年11月21日
论文盘点:人脸表情识别解析
PaperWeekly
13+阅读 · 2020年7月26日
综述 | 聚焦深度学习的人脸年龄估计
中国图象图形学报
14+阅读 · 2019年8月30日
计算机视觉方向简介 | 人脸表情识别
计算机视觉life
36+阅读 · 2019年5月15日
人脸相关算法、数据集、文献资源大列表
专知
16+阅读 · 2019年3月16日
人脸表情分类与识别:人脸检测+情绪分类
北京思腾合力科技有限公司
27+阅读 · 2017年12月18日
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员