Public opinion surveys show cross-cultural differences in political opinions between socio-cultural contexts. However, there is no clear evidence whether these differences translate to cross-lingual differences in multilingual large language models (MLLMs). We analyze whether opinions transfer between languages or whether there are separate opinions for each language in MLLMs of various sizes across five Western languages. We evaluate MLLMs' opinions by prompting them to report their (dis)agreement with political statements from voting advice applications. To better understand the interaction between languages in the models, we evaluate them both before and after aligning them with more left or right views using direct preference optimization and English alignment data only. Our findings reveal that unaligned models show only very few significant cross-lingual differences in the political opinions they reflect. The political alignment shifts opinions almost uniformly across all five languages. We conclude that in Western language contexts, political opinions transfer between languages, demonstrating the challenges in achieving explicit socio-linguistic, cultural, and political alignment of MLLMs.


翻译:民意调查显示,不同社会文化背景下的政治观点存在跨文化差异。然而,目前尚无明确证据表明这些差异是否转化为多语言大语言模型(MLLMs)中的跨语言差异。我们分析了五种西方语言中不同规模的MLLMs,探究政治观点是否在语言间迁移,抑或每种语言存在独立的观点体系。我们通过提示MLLMs报告其对投票建议应用中政治陈述的(不)赞同程度来评估其观点。为更好地理解模型中语言间的相互作用,我们评估了模型在使用直接偏好优化和仅英语对齐数据将其与更左翼或右翼观点对齐前后的表现。研究结果表明,未对齐模型反映的政治观点仅存在极少数显著的跨语言差异。政治对齐过程几乎一致地改变了所有五种语言中的观点。我们得出结论:在西方语言语境中,政治观点会在语言间迁移,这凸显了实现MLLMs明确的社会语言学、文化和政治对齐所面临的挑战。

0
下载
关闭预览

相关内容

多模态大型语言模型:综述
专知会员服务
45+阅读 · 2025年6月14日
《多语言大型语言模型:系统综述》
专知会员服务
49+阅读 · 2024年11月21日
大语言模型对齐研究综述
专知会员服务
56+阅读 · 2024年8月1日
从数据中心视角看多模态大型语言模型的综述
专知会员服务
58+阅读 · 2024年5月28日
大语言模型价值观对齐研究与展望
专知会员服务
37+阅读 · 2024年3月19日
大型语言模型对齐
专知会员服务
119+阅读 · 2023年9月27日
多模态视觉语言表征学习研究综述
专知
27+阅读 · 2020年12月3日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
对话系统近期进展
专知
37+阅读 · 2019年3月23日
中文对比英文自然语言处理NLP的区别综述
AINLP
18+阅读 · 2019年3月20日
自然语言处理(二)机器翻译 篇 (NLP: machine translation)
DeepLearning中文论坛
12+阅读 · 2015年7月1日
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
VIP会员
相关VIP内容
多模态大型语言模型:综述
专知会员服务
45+阅读 · 2025年6月14日
《多语言大型语言模型:系统综述》
专知会员服务
49+阅读 · 2024年11月21日
大语言模型对齐研究综述
专知会员服务
56+阅读 · 2024年8月1日
从数据中心视角看多模态大型语言模型的综述
专知会员服务
58+阅读 · 2024年5月28日
大语言模型价值观对齐研究与展望
专知会员服务
37+阅读 · 2024年3月19日
大型语言模型对齐
专知会员服务
119+阅读 · 2023年9月27日
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员