Volumetric medical imaging offers great potential for understanding complex pathologies. Yet, traditional 2D slices provide little support for interpreting spatial relationships, forcing users to mentally reconstruct anatomy into three dimensions. Direct volumetric path tracing and VR rendering can improve perception but are computationally expensive, while precomputed representations, like Gaussian Splatting, require planning ahead. Both approaches limit interactive use. We propose a hybrid rendering approach for high-quality, interactive, and immersive anatomical visualization. Our method combines streamed foveated path tracing with a lightweight Gaussian Splatting approximation of the periphery. The peripheral model generation is optimized with volume data and continuously refined using foveal renderings, enabling interactive updates. Depth-guided reprojection further improves robustness to latency and allows users to balance fidelity with refresh rate. We compare our method against direct path tracing and Gaussian Splatting. Our results highlight how their combination can preserve strengths in visual quality while re-generating the peripheral model in under a second, eliminating extensive preprocessing and approximations. This opens new options for interactive medical visualization.


翻译:体绘制医学影像为理解复杂病理提供了巨大潜力。然而,传统的二维切片在解释空间关系方面支持有限,迫使用户在脑海中将解剖结构重建为三维形态。直接的体绘制路径追踪与虚拟现实渲染虽能提升感知效果,但计算成本高昂;而诸如高斯泼溅等预计算表示方法则需要预先规划。这两种方法均限制了交互式使用。本文提出一种混合渲染方法,用于实现高质量、交互式且沉浸式的解剖结构可视化。我们的方法将流式注视点路径追踪与轻量级的外围高斯泼溅近似相结合。外围模型生成通过体数据优化,并利用注视点渲染结果持续细化,从而实现交互式更新。深度引导的重投影进一步提升了延迟鲁棒性,并允许用户在保真度与刷新率之间进行权衡。我们将所提方法与直接路径追踪及高斯泼溅进行了对比。实验结果表明,二者的结合能够在保持视觉质量优势的同时,于一秒内重新生成外围模型,从而消除了繁重的预处理与近似计算。这为交互式医学可视化开辟了新的可能性。

0
下载
关闭预览

相关内容

基于深度学习的图像融合方法综述
专知会员服务
57+阅读 · 2023年1月25日
迁移学习方法在医学图像领域的应用综述
专知会员服务
61+阅读 · 2022年1月6日
混合增强视觉认知架构及其关键技术进展
专知会员服务
46+阅读 · 2021年11月20日
专知会员服务
50+阅读 · 2021年8月28日
专知会员服务
67+阅读 · 2021年5月21日
专知会员服务
116+阅读 · 2021年1月11日
专家报告|深度学习+图像多模态融合
中国图象图形学报
12+阅读 · 2019年10月23日
计算机视觉方向简介 | 多视角立体视觉MVS
计算机视觉life
15+阅读 · 2019年10月10日
计算机视觉方向简介 | 基于单目视觉的三维重建算法
计算机视觉life
32+阅读 · 2019年4月9日
基于深度学习的图像超分辨率最新进展与趋势【附PDF】
人工智能前沿讲习班
15+阅读 · 2019年2月27日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员