The release of Microsoft's HoloLens headset addresses new types of issues that would have been difficult to design without such a hardware. This semi-transparent visor headset allows the user who wears it to view the projection of 3D virtual objects placed in its real environment. The user can also interact with these 3D objects, which can interact with each other. The framework of this new technology is called mixed reality. We had the opportunity to numerically transform a conventional human nutrition workshop for patients waiting for bariatric surgery by developing a software called HOLO_NUTRI using the HoloLens headset. Unlike our experience of user and conventional programmer specialized in the development of interactive 3D graphics applications, we realized that such a mixed reality experience required specific programming concepts quite different from those of conventional software or those of virtual reality applications, but above all required a thorough reflection about communication for users. In this article, we propose to explain our design of communication (graphic supports, tutorials of use of material, explanatory videos), a step which was crucial for the good progress of our project. The software was used by thirty patients from Le Puy-en-Velay Hospital during 10 sessions of one hour and a half during which patients had to take in hand the headset and software HOLO_NUTRI. We also proposed a series of questions to patients to have an assessment of both the adequacy and the importance of this communication approach for such experience. As the mixed reality technology is very recent but the number of applications based on it significantly increases, the reflection on the implementation of the elements of communication described in this article (videos, exercise of learning for the use of the headset, communication leaflet, etc.) can help developers of such applications.


翻译:微软HoloLens头戴设备的发布为新型应用场景的构建提供了可能,此前在没有此类硬件的情况下这些场景将难以设计。这款半透明遮光式头戴设备允许佩戴者在其真实环境中投射三维虚拟物体。用户还可与这些具备交互能力的虚拟物体进行互动。这项新技术的框架被称为混合现实。我们通过开发基于HoloLens头戴设备的HOLO_NUTRI软件,实现了对面向等待减肥手术患者的传统人类营养工作坊的数字化改造。与从事交互式三维图形应用开发的常规程序员和用户经验不同,我们意识到此类混合现实体验需要运用不同于传统软件或虚拟现实应用的特定编程概念,其核心更在于对用户通信机制的深度思考。本文拟阐述我们设计的通信方案(包括图形化支持、设备使用教程、解释性视频),该环节对项目顺利推进具有决定性意义。该软件在勒皮昂沃莱医院的10场90分钟培训中被30名患者使用,期间患者需自主操作头戴设备与HOLO_NUTRI软件。我们同时向患者提出系列问题,以评估该通信方案对此类体验的适配度与重要性。鉴于混合现实技术虽尚处萌芽期但相关应用数量激增,本文所述的通信要素实现方案(视频、设备操作练习教程、通信手册等)可为同类应用开发者提供参考。

0
下载
关闭预览

相关内容

IFIP TC13 Conference on Human-Computer Interaction是人机交互领域的研究者和实践者展示其工作的重要平台。多年来,这些会议吸引了来自几个国家和文化的研究人员。官网链接:http://interact2019.org/
元宇宙技术综述
专知会员服务
142+阅读 · 2022年4月21日
Into the Metaverse,93页ppt介绍元宇宙概念、应用、趋势
专知会员服务
49+阅读 · 2022年2月19日
Python计算导论,560页pdf,Introduction to Computing Using Python
专知会员服务
77+阅读 · 2020年5月5日
TensorFlow 2.0 学习资源汇总
专知会员服务
67+阅读 · 2019年10月9日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
为什么说可观察性是解锁 GitOps 的关键
InfoQ
0+阅读 · 2022年11月8日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Arxiv
31+阅读 · 2022年2月15日
VIP会员
最新内容
俄乌无人机战争的六大启示
专知会员服务
9+阅读 · 8月3日
《无人机空中监控:通信实验洞察》
专知会员服务
6+阅读 · 8月3日
从采集到决策:美军视角下的战术情报范式重构
《履带式无人地面战车技术发展现状》
专知会员服务
6+阅读 · 8月2日
《无人机脆弱性利用:网络空间力量的新域》
专知会员服务
9+阅读 · 8月1日
美空军如何将人工智能从战场部署至后方机关
专知会员服务
14+阅读 · 7月31日
相关资讯
为什么说可观察性是解锁 GitOps 的关键
InfoQ
0+阅读 · 2022年11月8日
征稿 | International Joint Conference on Knowledge Graphs (IJCKG)
开放知识图谱
2+阅读 · 2022年5月20日
【ACL2020放榜!】事件抽取、关系抽取、NER、Few-Shot 相关论文整理
深度学习自然语言处理
18+阅读 · 2020年5月22日
计算机 | 入门级EI会议ICVRIS 2019诚邀稿件
Call4Papers
10+阅读 · 2019年6月24日
IEEE | DSC 2019诚邀稿件 (EI检索)
Call4Papers
10+阅读 · 2019年2月25日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
1+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员