This paper presents a new technique for the virtual reality (VR) visu-alization of complex volume images obtained from computer tomography (CT) and Magnetic Resonance Imaging (MRI) by combining three-dimensional (3D) mesh processing and software coding within the gaming engine. The method operates on real representations of human organs avoiding any structural ap-proximations of the real physiological shape. In order to obtain realistic repre-sentation of the mesh model, geometrical and topological corrections are per-formed on the mesh surface with preserving real shape and geometric structure. Using mathematical intervention on the 3D model and mesh triangulation the second part of our algorithm ensures an automatic construction of new two-dimensional (2D) shapes that represent vector slices along any user chosen di-rection. The final result of our algorithm is developed software application that allows to user complete visual experience and perceptual exploration of real human organs through spatial manipulation of their 3D models. Thus our pro-posed method achieves a threefold effect: i) high definition VR representation of real models of human organs, ii) the real time generated slices of such a model along any directions, and iii) almost unlimited amount of training data for machine learning that is very useful in process of diagnosis. In addition, our developed application also offers significant benefits to educational process by ensuring interactive features and quality perceptual user experience.


翻译:本文提出了一种结合三维网格处理与游戏引擎内软件编码的新技术,用于对计算机断层扫描(CT)和磁共振成像(MRI)获取的复杂体数据进行虚拟现实(VR)可视化。该方法直接对人体器官的真实表征进行处理,避免了任何对实际生理形态的结构近似。为获得网格模型的真实表征,我们在保持真实形状与几何结构的前提下,对网格表面进行几何与拓扑校正。通过对三维模型及网格三角剖分进行数学干预,算法的第二部分实现了沿用户任意选定方向自动构建表示矢量切片的新二维形状。算法的最终成果是一个开发的软件应用程序,使用户能够通过空间操控真实人体器官的三维模型,获得完整的视觉体验与感知探索。因此,我们提出的方法实现了三重效果:(i)人体器官真实模型的高清VR表征,(ii)沿任意方向实时生成该模型的切片,以及(iii)为诊断过程提供几乎无限量的机器学习训练数据。此外,我们开发的应用程序通过确保交互功能与优质感知用户体验,为教学过程也带来了显著益处。

0
下载
关闭预览

相关内容

Python图像处理,366页pdf,Image Operators Image Processing in Python
Python地理数据处理,362页pdf,Geoprocessing with Python
专知会员服务
116+阅读 · 2020年5月24日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【泡泡一分钟】学习紧密的几何特征(ICCV2017-17)
泡泡机器人SLAM
20+阅读 · 2018年5月8日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
VIP会员
最新内容
《基于强化学习的自动化红队测试》
专知会员服务
3+阅读 · 7月23日
伊朗不对称防空战略的演进
专知会员服务
4+阅读 · 7月23日
对抗环境下超视距目标打击的情报支援
专知会员服务
10+阅读 · 7月22日
《无人机对海面作战影响评估》
专知会员服务
15+阅读 · 7月21日
印度精确打击与指挥架构的断层
专知会员服务
7+阅读 · 7月20日
相关VIP内容
Python图像处理,366页pdf,Image Operators Image Processing in Python
Python地理数据处理,362页pdf,Geoprocessing with Python
专知会员服务
116+阅读 · 2020年5月24日
100+篇《自监督学习(Self-Supervised Learning)》论文最新合集
专知会员服务
167+阅读 · 2020年3月18日
[综述]深度学习下的场景文本检测与识别
专知会员服务
78+阅读 · 2019年10月10日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
A Technical Overview of AI & ML in 2018 & Trends for 2019
待字闺中
18+阅读 · 2018年12月24日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
【泡泡一分钟】学习紧密的几何特征(ICCV2017-17)
泡泡机器人SLAM
20+阅读 · 2018年5月8日
【推荐】用Python/OpenCV实现增强现实
机器学习研究会
15+阅读 · 2017年11月16日
相关基金
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2009年12月31日
Top
微信扫码咨询专知VIP会员