Synthetic personas are widely used to condition large language models (LLMs) for social simulation, yet most personas are still constructed from coarse sociodemographic attributes or summaries. We revisit persona creation by introducing SCOPE, a socially grounded framework for persona construction and evaluation, built from a 141-item, two-hour sociopsychological protocol collected from 124 U.S.-based participants. Across seven models, we find that demographic-only personas are a structural bottleneck: demographics explain only ~1.5% of variance in human response similarity. Adding sociopsychological facets improves behavioral prediction and reduces over-accentuation, and non-demographic personas based on values and identity achieve strong alignment with substantially lower bias. These trends generalize to SimBench (441 aligned questions), where SCOPE personas outperform default prompting and NVIDIA Nemotron personas, and SCOPE augmentation improves Nemotron-based personas. Our results indicate that persona quality depends on sociopsychological structure rather than demographic templates or summaries.


翻译:合成角色被广泛用于引导大语言模型进行社会模拟,但多数角色仍基于粗略的社会人口属性或摘要构建。本文通过引入SCOPE——一个基于社会心理学基础的角色构建与评估框架,重新审视角色创建方法。该框架源自对124名美国参与者实施的一项包含141项条目、耗时两小时的社会心理学量表采集。在七个模型的测试中,我们发现仅含人口统计特征的角色构成结构性瓶颈:人口统计学特征仅能解释约1.5%的人类响应相似性方差。增加社会心理学维度可改善行为预测并减少过度强调,而基于价值观与身份认同的非人口统计角色则能以显著更低的偏见实现高度行为对齐。这些趋势在SimBench(441个对齐问题)中得到普遍验证:SCOPE角色在表现上优于默认提示与NVIDIA Nemotron角色,且SCOPE增强方法能有效改进基于Nemotron的角色。我们的研究结果表明,角色质量取决于社会心理学结构,而非人口统计模板或摘要。

0
下载
关闭预览

相关内容

基于大语言模型智能体的社会认知模拟
专知会员服务
13+阅读 · 2月22日
以人为中心的基础模型:感知、生成与代理建模
专知会员服务
24+阅读 · 2025年2月13日
复旦最新《智能体模拟社会》综述
专知会员服务
43+阅读 · 2024年12月8日
《以人为中心的大型语言模型(LLM)研究综述》
专知会员服务
41+阅读 · 2024年11月25日
AI Agent,大模型时代重要落地方向, 42页ppt
专知会员服务
290+阅读 · 2023年10月12日
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
用户画像技术及方法论
DataFunTalk
13+阅读 · 2020年5月27日
【深度语义匹配模型】原理篇二:交互篇
AINLP
16+阅读 · 2020年5月18日
用户研究:如何做用户画像分析
产品100干货速递
45+阅读 · 2019年5月9日
什么是语义角色标注?
人工智能头条
18+阅读 · 2019年4月28日
【大数据】如何用大数据构建精准用户画像?
产业智能官
12+阅读 · 2017年9月21日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关资讯
用户画像基础
DataFunTalk
12+阅读 · 2020年8月1日
用户画像技术及方法论
DataFunTalk
13+阅读 · 2020年5月27日
【深度语义匹配模型】原理篇二:交互篇
AINLP
16+阅读 · 2020年5月18日
用户研究:如何做用户画像分析
产品100干货速递
45+阅读 · 2019年5月9日
什么是语义角色标注?
人工智能头条
18+阅读 · 2019年4月28日
【大数据】如何用大数据构建精准用户画像?
产业智能官
12+阅读 · 2017年9月21日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员