Improving policymaking is a central concern in public administration. Prior human subject studies reveal substantial cross-cultural differences in citizens' emotional responses to red tape during policy implementation. While LLM agents offer opportunities to simulate human-like responses and reduce experimental costs, their ability to generate culturally appropriate emotional responses to red tape remains unverified. To address this gap, we propose an evaluation framework for assessing LLMs' emotional responses to red tape across diverse cultural contexts. As a pilot study, we apply this framework to a single red-tape scenario. Our results show that all models exhibit limited alignment with human emotional responses, with notably weaker performance in Eastern cultures. Cultural prompting strategies prove largely ineffective in improving alignment. We further introduce \textbf{RAMO}, an interactive interface for simulating citizens' emotional responses to red tape and for collecting human data to improve models. The interface is publicly available at https://ramo-chi.ivia.ch.


翻译:改进政策制定是公共管理的核心关切。先前的人类主体研究表明,在政策实施过程中,不同文化背景下公民对官僚红头文件的情绪反应存在显著差异。虽然大型语言模型代理有望模拟人类反应并降低实验成本,但其生成符合文化情境的官僚红头文件情绪反应的能力尚未得到验证。为填补这一空白,我们提出了一套评估框架,用于评估LLM在不同文化背景下对官僚红头文件的情绪反应。作为试点研究,我们将该框架应用于单一红头文件场景。结果显示,所有模型与人类情绪反应的契合度有限,在东方文化中的表现尤为薄弱。文化提示策略在提升契合度方面基本无效。我们进一步介绍了\textbf{RAMO}——一个用于模拟公民对官僚红头文件的情绪反应以及收集人类数据以改进模型的交互式界面。该界面公开访问地址为https://ramo-chi.ivia.ch。

0
下载
关闭预览

相关内容

大语言模型是基于海量文本数据训练的深度学习模型。它不仅能够生成自然语言文本,还能够深入理解文本含义,处理各种自然语言任务,如文本摘要、问答、翻译等。2023年,大语言模型及其在人工智能领域的应用已成为全球科技研究的热点,其在规模上的增长尤为引人注目,参数量已从最初的十几亿跃升到如今的一万亿。参数量的提升使得模型能够更加精细地捕捉人类语言微妙之处,更加深入地理解人类语言的复杂性。在过去的一年里,大语言模型在吸纳新知识、分解复杂任务以及图文对齐等多方面都有显著提升。随着技术的不断成熟,它将不断拓展其应用范围,为人类提供更加智能化和个性化的服务,进一步改善人们的生活和生产方式。
LLMs与生成式智能体模拟:复杂系统研究的新范式
专知会员服务
28+阅读 · 2025年6月15日
《以人为中心的大型语言模型(LLM)研究综述》
专知会员服务
41+阅读 · 2024年11月25日
《LLM 时代小模型的作用》综述
专知会员服务
49+阅读 · 2024年9月12日
LLM in Medical Domain: 大语言模型在医学领域的应用
专知会员服务
103+阅读 · 2023年6月17日
【MIT博士论文】情感理解的计算框架,200页pdf
专知会员服务
41+阅读 · 2023年4月9日
多模态情绪识别研究综述
专知会员服务
170+阅读 · 2020年12月21日
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
情感分析的新方法,使用word2vec对微博文本进行情感分析和分类
数据挖掘入门与实战
22+阅读 · 2018年1月6日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
VIP会员
最新内容
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
2+阅读 · 59分钟前
美空军如何将人工智能从战场部署至后方机关
专知会员服务
9+阅读 · 7月31日
《史诗怒火行动:多域前瞻评估》49页报告
专知会员服务
5+阅读 · 7月31日
《英国防部:未来空战系统数字化战略》33页
专知会员服务
4+阅读 · 7月31日
《面向自主飞行网络的智能体人工智能架构》
专知会员服务
7+阅读 · 7月31日
“史诗怒火”行动:现代多域作战的重要节点
专知会员服务
8+阅读 · 7月30日
《下一代无线网络中的多无人机通信资源管理》
相关资讯
多模态情绪识别研究综述
专知
25+阅读 · 2020年12月21日
情感分析的新方法,使用word2vec对微博文本进行情感分析和分类
数据挖掘入门与实战
22+阅读 · 2018年1月6日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员