Bronchoscopic navigation relies on registering endoscopic video to a preoperative CT scan, but respiratory motion deforms the airway by 5-20 mm, creating CT-to-body divergence that limits localization accuracy. In practice, this is mitigated through breath-hold protocols, which attempt to match the intraoperative anatomy to a static CT, but are difficult to reproduce and disrupt clinical workflow. We propose to eliminate the need for breath-hold protocols by leveraging patient-specific respiratory modeling. Paired inhale-exhale CT scans, already acquired for planning, implicitly define the patient-specific deformation space of the breathing airway. By registering these scans, we reduce respiratory motion to a single scalar breathing phase per frame, constraining all reconstructions to anatomically observed configurations. We embed this representation within a mesh-anchored Gaussian splatting framework, where a lightweight estimator infers breathing phase directly from endoscopic RGB, enabling continuous, deformation-aware reconstruction throughout the respiratory cycle without breath-holds or external sensing. To enable quantitative evaluation, we introduce RESPIRE, a physically grounded bronchoscopy simulation pipeline with per-frame ground truth for geometry, pose, breathing phase, and deformation. Experiments on RESPIRE show that our approach achieves geometrically faithful reconstruction, over 20x faster training, and 1.22 mm target localization accuracy (within the 3mm clinically relevant tolerances) outperforming unconstrained single-CT baselines. Please check out our website for additional visuals: https://asdunnbe.github.io/RESPIRE/


翻译:支气管镜导航依赖于将内窥镜视频与术前CT扫描进行配准,但呼吸运动会使气道变形5-20毫米,导致CT与人体之间的偏差,限制了定位精度。实践中,这一问题通过屏气协议来缓解,试图使术中解剖结构与静态CT匹配,但屏气协议难以复现且会打断临床工作流程。我们提出通过利用患者特异性呼吸建模来消除屏气协议的需求。规划时已获取的配对吸气-呼气CT扫描隐含定义了呼吸气道的患者特异性变形空间。通过配准这些扫描,我们将呼吸运动简化为每帧的单一标量呼吸相位,将所有重建限制在解剖学观测到的构型中。我们将此表示嵌入到网格锚定的高斯泼溅框架中,其中轻量级估计器直接从内窥镜RGB图像推断呼吸相位,使得无需屏气或外部传感即可在呼吸周期内实现连续、变形感知的重建。为了进行定量评估,我们引入了RESPIRE——一个基于物理的支气管镜模拟管线,提供每帧的几何、姿态、呼吸相位和变形的真实数据。在RESPIRE上的实验表明,我们的方法实现了几何保真重建、20倍以上的训练速度提升,以及1.22毫米的目标定位精度(在3毫米临床相关容差内),优于无约束的单CT基线。更多可视化结果请访问我们的网站:https://asdunnbe.github.io/RESPIRE/

0
下载
关闭预览

相关内容

视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
专知会员服务
28+阅读 · 2021年10月6日
专知会员服务
31+阅读 · 2021年9月23日
专知会员服务
50+阅读 · 2021年8月28日
专知会员服务
37+阅读 · 2021年4月23日
专知会员服务
39+阅读 · 2021年3月29日
用Transformer完全替代CNN
CVer
20+阅读 · 2020年10月23日
基于深度学习的医学图像半监督分割
CVer
14+阅读 · 2020年9月24日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
最新内容
ICML 2026 | Sheaf-ADMM:用可微优化学习多智能体协调
专知会员服务
1+阅读 · 今天16:12
综述 | OPSD:大语言模型的在线策略自蒸馏
专知会员服务
1+阅读 · 今天16:08
算法化战争:人工智能时代的新范式(万字长文)
帕兰蒂尔Maven:军事人工智能的新纪元
专知会员服务
3+阅读 · 今天14:00
超越网格:作战环境对炮兵的影响
专知会员服务
3+阅读 · 5月31日
BES:让语言模型通过双向进化搜索自我改进
专知会员服务
6+阅读 · 5月30日
以色列-美国-伊朗战争中的无人机:关键要点
专知会员服务
7+阅读 · 5月30日
相关基金
Top
微信扫码咨询专知VIP会员