Academic events, such as a doctoral thesis defense, are typically limited to either physical co-location or flat video conferencing, resulting in rigid participation formats and fragmented presence. We present a multimodal framework that breaks this binary by supporting a spectrum of participation - from in-person attendance to immersive virtual reality (VR) or browser access - and report our findings from using it to organize the first ever hybrid doctoral thesis defense using extended reality (XR). The framework integrates full-body motion tracking to synchronize the user's avatar motions and gestures, enabling natural interaction with onsite participants as well as body language and gestures with remote attendees in the virtual world. It leverages WebXR to provide cross-platform and instant accessibility with easy setup. User feedback analysis reveals positive VR experiences and demonstrates the framework's effectiveness in supporting various hybrid event activities.


翻译:学术活动(如博士学位论文答辩)通常局限于物理空间的共同在场或平面化的视频会议,导致参与形式僵化且临场感割裂。本文提出一种多模态框架,通过支持从现场出席到沉浸式虚拟现实(VR)或浏览器访问的连续参与谱系,打破了这种二元对立,并报告了利用该框架组织首次基于扩展现实(XR)的混合式博士学位论文答辩的实践发现。该框架集成全身运动追踪以同步用户的虚拟化身动作与手势,使其能够与现场参与者自然交互,并在虚拟世界中与远程参与者通过肢体语言和手势进行交流。框架利用WebXR技术提供跨平台、即时可访问且易于部署的特性。用户反馈分析揭示了积极的VR体验,并证明了该框架在支持各类混合活动场景中的有效性。

0
下载
关闭预览

相关内容

【博士论文】基于多模态基础模型的上下文学习
专知会员服务
25+阅读 · 2025年12月17日
【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
专知会员服务
68+阅读 · 2021年10月15日
深度多模态表示学习综述论文,22页pdf
专知
33+阅读 · 2020年6月21日
多模态深度学习综述,18页pdf
专知
51+阅读 · 2020年3月29日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
论文浅尝 | 一种用于多关系问答的可解释推理网络
开放知识图谱
18+阅读 · 2019年5月21日
多模态多任务学习新论文
专知
46+阅读 · 2019年2月9日
这可能是「多模态机器学习」最通俗易懂的介绍
计算机视觉life
113+阅读 · 2018年12月20日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
11+阅读 · 2023年5月15日
VIP会员
最新内容
博士论文 | 面向大模型推理的内存高效算法
专知会员服务
2+阅读 · 7月27日
美空军新型反无人机部队初探
专知会员服务
5+阅读 · 7月27日
《防空交战流程的概率建模研究》
专知会员服务
7+阅读 · 7月27日
ICML 2026 教程 | 数值优化理论还重要吗?
专知会员服务
6+阅读 · 7月26日
ICM 2026 | 陶哲轩:人工智能时代的数学
专知会员服务
9+阅读 · 7月26日
《反无人机交战场景下的战斗归零研究》
专知会员服务
7+阅读 · 7月26日
博士论文 | 用代码结构感知方法推进代码大模型
相关VIP内容
【博士论文】基于多模态基础模型的上下文学习
专知会员服务
25+阅读 · 2025年12月17日
【博士论文】弥合多模态基础模型与世界模型之间的鸿沟
多模态人机交互综述
专知会员服务
150+阅读 · 2022年7月3日
专知会员服务
68+阅读 · 2021年10月15日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员