Large language models (LLMs) are increasingly deployed in multicultural settings; however, systematic evaluation of cultural specificity at the sentence level remains underexplored. We propose the Conceptual Cultural Index (CCI), which estimates cultural specificity at the sentence level. CCI is defined as the difference between the generality estimate within the target culture and the average generality estimate across other cultures. This formulation enables users to operationally control the scope of culture via comparison settings and provides interpretability, since the score derives from the underlying generality estimates. We validate CCI on 400 sentences (200 culture-specific and 200 general), and the resulting score distribution exhibits the anticipated pattern: higher for culture-specific sentences and lower for general ones. For binary separability, CCI outperforms direct LLM scoring, yielding more than a 10-point improvement in AUC for models specialized to the target culture. Our code is available at https://github.com/IyatomiLab/CCI .


翻译:大型语言模型(LLM)在多文化环境中的应用日益广泛;然而,在句子层面对文化特异性进行系统性评估的研究仍然不足。我们提出了概念文化指数(CCI),用于在句子层面估计文化特异性。CCI被定义为目标文化内部的普遍性估计值与跨其他文化的平均普遍性估计值之间的差值。这一公式使用户能够通过比较设置来操作性地控制文化范围,并提供了可解释性,因为该分数源自底层的普遍性估计。我们在400个句子(200个文化特异性句子和200个通用句子)上验证了CCI,得到的分数分布呈现出预期模式:文化特异性句子的分数较高,而通用句子的分数较低。在二元可分离性方面,CCI优于直接的LLM评分,对于针对目标文化专门化的模型,其AUC提高了超过10个百分点。我们的代码可在 https://github.com/IyatomiLab/CCI 获取。

0
下载
关闭预览

相关内容

迈向LLM时代的可泛化评估:超越基准的综述
专知会员服务
22+阅读 · 2025年4月29日
大规模语言模型的个性化:综述
专知会员服务
43+阅读 · 2024年11月4日
大型语言模型增强强化学习综述:概念、分类和方法
专知会员服务
57+阅读 · 2024年4月4日
天大最新《大型语言模型评估》全面综述,111页pdf
专知会员服务
88+阅读 · 2023年10月31日
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
AAAI 2020论文解读:关注实体以更好地理解文本
AI科技评论
17+阅读 · 2019年11月20日
层级强化学习概念简介
CreateAMind
20+阅读 · 2019年6月9日
长文本表示学习概述
云栖社区
15+阅读 · 2019年5月9日
计算文本相似度常用的四种方法
论智
33+阅读 · 2018年5月18日
王仲远 | 基于概念知识图谱的短文本理解
开放知识图谱
14+阅读 · 2018年3月28日
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
相关资讯
基于模型的强化学习综述
专知
42+阅读 · 2022年7月13日
AAAI 2020论文解读:关注实体以更好地理解文本
AI科技评论
17+阅读 · 2019年11月20日
层级强化学习概念简介
CreateAMind
20+阅读 · 2019年6月9日
长文本表示学习概述
云栖社区
15+阅读 · 2019年5月9日
计算文本相似度常用的四种方法
论智
33+阅读 · 2018年5月18日
王仲远 | 基于概念知识图谱的短文本理解
开放知识图谱
14+阅读 · 2018年3月28日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员