Applications based on large language models (LLMs), such as multi-agent simulations, require population diversity among agents. We identify a pervasive failure mode we term \emph{Persona Collapse}: agents each assigned a distinct profile nonetheless converge into a narrow behavioral mode, producing a homogeneous simulated population. To quantify persona collapse, we propose a framework that measures how much of the persona space a population occupies (Coverage), how evenly agents spread across it (Uniformity), and how rich the resulting behavioral patterns are (Complexity). Evaluating ten LLMs on personality simulation (BFI-44), moral reasoning, and self-introduction, we observe persona collapse along two axes: (1) Dimensions: a model can appear diverse on one axis yet structurally degenerate on another, and (2) Domains: the same model may collapse the most in personality yet be the most diverse in moral reasoning. Furthermore, item-level diagnostics reveal that behavioral variation tracks coarse demographic stereotypes rather than the fine-grained individual differences specified in each persona. Counter-intuitively, \textbf{the models achieving the highest per-persona fidelity consistently produce the most stereotyped populations}. We release our toolkit and data to support population-level evaluation of LLMs.


翻译:基于大语言模型(LLM)的应用(如多智能体模拟)要求智能体具有种群多样性。我们发现一种普遍存在的失败模式,称之为“角色坍塌”:被分配不同设定档的智能体最终收敛到狭窄的行为模式,产生同质化的模拟种群。为量化角色坍塌,我们提出一个框架,通过测量种群占据角色空间的范围(覆盖率)、智能体在空间中分布的均匀程度(均匀性)以及由此产生的行为模式的丰富程度(复杂性)进行评估。在人格模拟(BFI-44)、道德推理和自我引介任务上对十个LLM进行评估后,我们观察到角色坍塌沿两个轴发生:(1)维度轴:模型在某一维度上可能表现多样,但在另一维度上结构退化;(2)领域轴:同一模型可能在人格模拟中最严重坍塌,却在道德推理中最多样化。此外,项目级诊断显示,行为变异追踪的是粗粒度的刻板印象,而非设定档中指定的细粒度个体差异。反直觉的是,**在单角色保真度上表现最佳的模型,始终生成最刻板化的种群**。我们发布相关工具包与数据,以支持对LLM进行种群级评估。

0
下载
关闭预览

相关内容

大型语言模型的规模效应局限
专知会员服务
14+阅读 · 2025年11月18日
174页!《大语言模型》最新综述:能力与局限性分析
专知会员服务
64+阅读 · 2025年1月12日
《多模态大语言模型评估综述》
专知会员服务
41+阅读 · 2024年8月29日
大型语言模型中的人格综述
专知会员服务
42+阅读 · 2024年6月30日
大模型如何迭代?北大等《大型语言模型自我进化》综述
强化学习的两大话题之一,仍有极大探索空间
AI科技评论
22+阅读 · 2020年8月22日
绝对干货!NLP预训练模型:从transformer到albert
新智元
13+阅读 · 2019年11月10日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
Arxiv
25+阅读 · 2023年6月23日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
5+阅读 · 6月21日
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
2+阅读 · 6月21日
学习数据的几何:形状空间分析数学综述
专知会员服务
9+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
11+阅读 · 6月17日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员