Purpose: Precise port placement is a critical step in robot-assisted surgery, where port configuration influences both visual access to the operative field and instrument maneuverability. To bridge the gap between preoperative planning and intraoperative execution, we present ARport, an augmented reality (AR) system that automatically maps pre-planned trocar layouts onto the patient's body surface, providing intuitive spatial guidance during surgical preparation. Methods: ARport, implemented on an optical see-through head-mounted display (OST-HMD), operates without any external sensors or markers, simplifying setup and enhancing workflow integration. It reconstructs the operative scene from RGB, depth, and pose data captured by the OST-HMD, extracts the patient's body surface using a foundation model, and performs surface-based markerless registration to align preoperative anatomical models to the extracted patient's body surface, enabling in-situ visualization of planned trocar layouts. A demonstration video illustrating the overall workflow is available online. Results: In full-scale human-phantom experiments, ARport accurately overlaid pre-planned trocar sites onto the physical phantom, achieving consistent spatial correspondence between virtual plans and real anatomy. Conclusion: ARport provides a fully marker-free and hardware-minimal solution for visualizing preoperative trocar plans directly on the patient's body surface. The system facilitates efficient intraoperative setup and demonstrates potential for seamless integration into routine clinical workflows.


翻译:目的:精确的端口放置是机器人辅助手术中的关键步骤,端口配置既影响术野的视觉可达性,也影响器械的操作灵活性。为弥合术前规划与术中执行之间的差距,我们提出ARport,一种增强现实(AR)系统,能够自动将预先规划的套管布局映射至患者体表,在外科准备阶段提供直观的空间引导。方法:ARport在光学透视头戴式显示器(OST-HMD)上实现,无需任何外部传感器或标记物,简化了设置流程并增强了工作流集成。该系统通过OST-HMD捕获的RGB、深度及位姿数据重建手术场景,利用基础模型提取患者体表,并执行基于体表的无标记配准,将术前解剖模型与提取的患者体表对齐,从而实现规划套管布局的原位可视化。展示整体工作流程的演示视频已在线发布。结果:在全尺寸人体模型实验中,ARport能够准确地将预先规划的套管位置叠加至物理模型上,实现了虚拟规划与真实解剖结构之间一致的空间对应关系。结论:ARport提供了一种完全无标记且硬件需求极简的解决方案,可直接在患者体表可视化术前套管规划。该系统有助于提升术中准备效率,并展现出无缝融入常规临床工作流程的潜力。

0
下载
关闭预览

相关内容

增强现实(AR)技术在增强型指挥与控制中的应用
专知会员服务
56+阅读 · 2022年6月9日
人工智能技术在口腔正畸诊疗中的应用研究进展
专知会员服务
14+阅读 · 2022年5月1日
专知会员服务
22+阅读 · 2021年10月9日
专知会员服务
48+阅读 · 2021年6月27日
无人预警机系统架构及关键技术分析
专知
13+阅读 · 2022年8月6日
智能无人作战系统的发展
科技导报
36+阅读 · 2018年6月29日
智能无人机集群技术概述
无人机
44+阅读 · 2018年2月28日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员