Despite their global prevalence, many Large Language Models (LLMs) are aligned to a monolithic, often Western-centric set of values. This paper investigates the more challenging task of fine-grained value alignment: examining whether LLMs can emulate the distinct cultural values of demographic subgroups. Using Singapore as a case study and the World Values Survey (WVS), we examine the value landscape and show that even state-of-the-art models like GPT-4.1 achieve only 57.4% accuracy in predicting subgroup modal preferences. We construct a dataset of over 20,000 samples to train and evaluate a range of models. We demonstrate that simple fine-tuning on structured numerical preferences yields substantial gains, improving accuracy on unseen, out-of-distribution subgroups by an average of 17.4%. These gains partially transfer to open-ended generation. However, we find significant pre-existing performance biases, where models better emulate young, male, Chinese, and Christian personas. Furthermore, while fine-tuning improves average performance, it widens the disparity between subgroups when measured by distance-aware metrics. Our work offers insights into the limits and fairness implications of subgroup-level cultural alignment.


翻译:尽管大型语言模型(LLMs)在全球范围内广泛应用,但其价值观往往锚定于单一且常以西方为中心的价值体系。本文聚焦更精细的价值观对齐任务:探究LLMs能否模拟人口统计亚群体独特的文化价值观。以新加坡为案例,结合世界价值观调查(WVS),我们分析了价值观分布,并揭示即使如GPT-4.1等最先进模型,在预测亚群体模态偏好时准确率也仅为57.4%。我们构建了包含两万多个样本的数据集,用于训练和评估多种模型。研究表明,对结构化数值偏好进行简单微调即可带来显著提升,对未见过的分布外亚群体平均准确率提高17.4%。这些提升部分可迁移至开放式生成任务。然而,我们发现模型存在显著的预存性能偏差,对年轻人、男性、华裔及基督徒群体的模拟表现更优。此外,尽管微调提升了平均性能,但基于距离感知的指标评估显示,亚群体间的性能差距反而扩大。本研究揭示了亚群体层面文化对齐的局限性及其公平性启示。

0
下载
关闭预览

相关内容

个性化大型语言模型综述:进展与未来方向
专知会员服务
43+阅读 · 2025年2月18日
《以人为中心的大型语言模型(LLM)研究综述》
专知会员服务
41+阅读 · 2024年11月25日
迈向大语言模型偏好学习的统一视角综述
专知会员服务
24+阅读 · 2024年9月7日
大型语言模型中的人格综述
专知会员服务
42+阅读 · 2024年6月30日
大规模语言模型的人类偏好学习综述
专知会员服务
42+阅读 · 2024年6月19日
大语言模型价值观对齐研究与展望
专知会员服务
37+阅读 · 2024年3月19日
天大最新《大型语言模型评估》全面综述,111页pdf
专知会员服务
88+阅读 · 2023年10月31日
大模型道德价值观对齐问题剖析
专知会员服务
79+阅读 · 2023年10月3日
大型语言模型对齐
专知会员服务
120+阅读 · 2023年9月27日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Arxiv
17+阅读 · 2023年9月26日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
5+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
2+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关VIP内容
个性化大型语言模型综述:进展与未来方向
专知会员服务
43+阅读 · 2025年2月18日
《以人为中心的大型语言模型(LLM)研究综述》
专知会员服务
41+阅读 · 2024年11月25日
迈向大语言模型偏好学习的统一视角综述
专知会员服务
24+阅读 · 2024年9月7日
大型语言模型中的人格综述
专知会员服务
42+阅读 · 2024年6月30日
大规模语言模型的人类偏好学习综述
专知会员服务
42+阅读 · 2024年6月19日
大语言模型价值观对齐研究与展望
专知会员服务
37+阅读 · 2024年3月19日
天大最新《大型语言模型评估》全面综述,111页pdf
专知会员服务
88+阅读 · 2023年10月31日
大模型道德价值观对齐问题剖析
专知会员服务
79+阅读 · 2023年10月3日
大型语言模型对齐
专知会员服务
120+阅读 · 2023年9月27日
相关资讯
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员