Social belonging is a vital part of learning, yet online course environments present barriers to the organic formation of social groups. SAMI (Social Agent Mediated Interactions) offers one solution by facilitating student connections, but its effectiveness may be constrained by an incomplete Theory of Mind, limiting its ability to create an effective 'mental model' of a student. One facet of this is its inability to intuit personality, which may influence the relevance of its recommendations. To explore this gap, we examine the viability of automated personality inference by proposing a personality detection model utilizing GPT's zeroshot capability to infer Big-Five personality traits from forum introduction posts, often encouraged in online courses. We benchmark its performance against established models, finding that while GPT models show promising results on this specific dataset, performance varies significantly across traits. We identify potential biases toward optimistic trait inference, particularly for traits with skewed distributions. We demonstrate a proof-of-concept integration of personality detection into SAMI's entity-based matchmaking system, focusing on three traits with established connections to positive social formation: Extroversion, Agreeableness, and Openness. This work represents an initial exploration of personality-informed social recommendations in educational settings. While our implementation shows technical feasibility, significant questions remain. We discuss these limitations and outline directions for future work, examining what LLMs specifically capture when performing personality inference and whether personality-based matching meaningfully improves student connections in practice.


翻译:社会归属感是学习过程中的重要组成部分,然而在线课程环境为社交群体的自然形成设置了障碍。SAMI(社交智能体中介交互)通过促进学生间的连接提供了一种解决方案,但其有效性可能受限于不完整的心理理论,这限制了其构建有效学生“心智模型”的能力。其中一个方面是其无法直觉感知人格,而这可能影响其推荐的相关性。为探索这一空白,我们研究了自动化人格推断的可行性,提出了一种人格检测模型,该模型利用GPT的零样本能力从论坛自我介绍帖中推断大五人格特质——这在在线课程中常被鼓励使用。我们将其性能与既有模型进行基准测试,发现虽然GPT模型在此特定数据集上显示出有希望的结果,但不同特质间的性能差异显著。我们识别出对乐观特质推断的潜在偏差,尤其是在特质分布偏斜的情况下。我们展示了将人格检测集成到SAMI基于实体的匹配系统中的概念验证,重点关注与积极社交形成有明确联系的三种特质:外向性、宜人性和开放性。这项工作代表了对教育环境中基于人格信息的社交推荐的初步探索。虽然我们的实现展示了技术可行性,但重要问题依然存在。我们讨论了这些局限性,并概述了未来工作的方向,探究大语言模型在执行人格推断时具体捕捉了什么,以及基于人格的匹配在实践中是否能显著改善学生间的连接。

0
下载
关闭预览

相关内容

论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员