The integration of large language models (LLMs) into virtual reality (VR) environments has opened new pathways for creating more immersive and interactive digital humans. By leveraging the generative capabilities of LLMs alongside multimodal outputs such as facial expressions and gestures, virtual agents can simulate human-like personalities and emotions, fostering richer and more engaging user experiences. This paper provides a comprehensive review of methods for enabling digital humans to adopt nuanced personality traits, exploring approaches such as zero-shot, few-shot, and fine-tuning. Additionally, it highlights the challenges of integrating LLM-driven personality traits into VR, including computational demands, latency issues, and the lack of standardized evaluation frameworks for multimodal interactions. By addressing these gaps, this work lays a foundation for advancing applications in education, therapy, and gaming, while fostering interdisciplinary collaboration to redefine human-computer interaction in VR.


翻译:将大语言模型(LLMs)集成到虚拟现实(VR)环境中,为创建更具沉浸感和交互性的数字人开辟了新途径。通过利用LLMs的生成能力,并结合面部表情和手势等多模态输出,虚拟智能体能够模拟类人的人格与情感,从而营造更丰富、更具吸引力的用户体验。本文系统综述了使数字人具备细腻人格特质的方法,探讨了零样本、少样本及微调等多种技术路径。此外,文章重点分析了将LLMs驱动的人格特质融入VR所面临的挑战,包括计算需求、延迟问题以及多模态交互缺乏标准化评估框架等。通过探讨这些不足,本研究为推进教育、治疗和游戏等领域的应用奠定了基础,同时促进跨学科合作,以重新定义VR中的人机交互范式。

0
下载
关闭预览

相关内容

基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
《以人为中心的大型语言模型(LLM)研究综述》
专知会员服务
41+阅读 · 2024年11月25日
《多模态大语言模型评估综述》
专知会员服务
40+阅读 · 2024年8月29日
大型语言模型中的人格综述
专知会员服务
42+阅读 · 2024年6月30日
虚拟数字人发展白皮书,37页pdf
专知
10+阅读 · 2022年2月16日
最新人机对话系统简略综述
专知
26+阅读 · 2018年3月10日
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
VIP会员
最新内容
【CVPR 2026】语义泡沫:统一空间与语义场景分解
专知会员服务
2+阅读 · 今天15:33
《图世界模型:概念、分类体系与未来方向》
专知会员服务
11+阅读 · 5月1日
Palantir AIP平台:连接智能体与决策
专知会员服务
16+阅读 · 5月1日
《美海军软件测试战略》90页slides
专知会员服务
12+阅读 · 5月1日
面向具身智能与机器人仿真的三维生成:综述
专知会员服务
12+阅读 · 4月30日
相关VIP内容
基于大型语言模型的人机系统综述
专知会员服务
26+阅读 · 2025年5月12日
《以人为中心的大型语言模型(LLM)研究综述》
专知会员服务
41+阅读 · 2024年11月25日
《多模态大语言模型评估综述》
专知会员服务
40+阅读 · 2024年8月29日
大型语言模型中的人格综述
专知会员服务
42+阅读 · 2024年6月30日
相关基金
国家自然科学基金
1+阅读 · 2017年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
10+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
7+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员