Scientists and practitioners are aggressively moving to deploy digital twins - LLM-based models of real individuals - across social science and policy research. We conducted 19 pre-registered studies with 164 diverse outcomes (e.g., attitudes towards hiring algorithms, intention to share misinformation) and compared human responses to those of their digital twins (trained on each person's previous answers to over 500 questions). We find that digital twins' answers are only modestly more accurate than those from the homogeneous base LLM and correlate weakly with human responses (average r = 0.20). We document five ways in which digital twins distort human behavior: (i) stereotyping, (ii) insufficient individuation, (iii) representation bias, (iv) ideological biases, and (v) hyper-rationality. Together, our results caution against the premature deployment of digital twins, which may systematically misrepresent human cognition and undermine both scientific understanding and practical applications.


翻译:科学家和实践者正积极推动在社会科学与政策研究中部署数字孪生——基于大型语言模型的真实个体模型。我们通过19项预先注册的研究(涵盖164项多样化结果,如对招聘算法的态度、分享虚假信息的意愿),将人类反应与其数字孪生(基于每人先前对500多个问题的回答训练而成)的反应进行比较。研究发现,数字孪生的回答仅比同质化基础大型语言模型稍显准确,且与人类反应相关性较弱(平均r = 0.20)。我们记录了数字孪生扭曲人类行为的五种方式:(i)刻板印象化,(ii)个体化不足,(iii)表征偏差,(iv)意识形态偏见,以及(v)超理性化。综合而言,我们的研究结果警示数字孪生的过早部署可能系统性地歪曲人类认知,并损害科学理解与实际应用。

0
下载
关闭预览

相关内容

数字孪生是一个虚拟模型,用于准确地反映物理对象。 所研究的对象(例如风力涡轮)会配备各种与重要功能领域相关的传感器。 这些传感器产生与物理对象不同方面的性能相关的数据,如能量输出、温度、天气条件等等。 然后,这些数据将转发到处理系统并应用于数字副本。
PubMed GPT : 用于生物医学文本的特定领域大型语言模型
专知会员服务
38+阅读 · 2022年12月19日
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
VIP会员
相关资讯
Pytorch多模态框架MMF
专知
50+阅读 · 2020年6月20日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
从Seq2seq到Attention模型到Self Attention(一)
量化投资与机器学习
76+阅读 · 2018年10月8日
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
8+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员