In laparoscopic liver surgery, augmented reality technology enhances intraoperative anatomical guidance by overlaying 3D liver models from preoperative CT/MRI onto laparoscopic 2D views. However, existing registration methods lack explicit modeling of reliable 2D-3D geometric correspondences supported by latent evidence, leading to limited interpretability and potentially unstable alignment in clinical scenarios. In this work, we introduce Land-Reg, a correspondence-driven deformable registration framework that explicitly learns latent-grounded 2D-3D landmark correspondences as an interpretable intermediate representation to bridge cross-modal alignment. For rigid registration, Land-Reg embraces a Cross-modal Latent Alignment module to map multi-modal features into a unified latent space. Further, an Uncertainty-enhanced Overlap Landmark Detector with similarity matching is proposed to robustly estimate explicit 2D-3D landmark correspondences. For non-rigid registration, we design a novel shape-constrained supervision strategy that anchors shape deformation to matched landmarks through reprojection consistency and incorporates local-isometric regularization to alleviate inherent 2D-3D depth ambiguity, while a rendered-mask alignment enforces global shape consistency. Experimental results on the P2ILF dataset demonstrate the superiority of our method on both rigid pose estimation and non-rigid deformation. Our code will be available at https://github.com/cuiruize/Land-Reg.


翻译:在腹腔镜肝脏手术中,增强现实技术通过将术前CT/MRI三维肝脏模型叠加至腹腔镜二维视图,提升了术中解剖引导能力。然而,现有配准方法缺乏对潜在证据支持的可靠二维-三维几何对应关系的显式建模,导致临床场景中可解释性有限且配准稳定性不足。本研究提出Land-Reg——一种基于对应关系的可变形配准框架,通过显式学习以潜在证据为基础的二维-三维标志点对应关系作为可解释的中间表示,以桥接跨模态配准。针对刚性配准,Land-Reg采用跨模态潜在对齐模块将多模态特征映射至统一潜在空间。进一步提出具有相似度匹配的不确定性增强重叠标志点检测器,以鲁棒估计显式的二维-三维标志点对应关系。对于非刚性配准,我们设计了新颖的形状约束监督策略:通过重投影一致性将形状形变锚定于匹配的标志点,并引入局部等距正则化以缓解固有的二维-三维深度歧义,同时采用渲染掩码对齐来增强全局形状一致性。在P2ILF数据集上的实验结果表明,本方法在刚性姿态估计与非刚性形变任务上均具有优越性。代码发布于https://github.com/cuiruize/Land-Reg。

0
下载
关闭预览

相关内容

用于三维医学影像理解的综合语言–图像预训练
专知会员服务
7+阅读 · 2025年11月5日
视觉Transformer预训练模型的胸腔X线影像多标签分类
专知会员服务
14+阅读 · 2022年7月29日
Nature Medicine | 组学和人工智能推动肝病生物标志物的发现
《深度学习医学图像配准》综述进展
专知会员服务
49+阅读 · 2022年5月9日
【CVPR2022】基于粗-精视觉Transformer的仿射医学图像配准
专知会员服务
36+阅读 · 2022年4月2日
专知会员服务
31+阅读 · 2021年9月23日
专知会员服务
30+阅读 · 2021年6月4日
DeepReg:开源深度学习医学图像配准工具包
专知
35+阅读 · 2020年8月29日
“推荐系统”加上“图神经网络”
机器学习与推荐算法
12+阅读 · 2020年3月23日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
最新内容
最新“指挥控制”领域出版物合集(16份)
专知会员服务
7+阅读 · 4月12日
面向军事作战需求开发的人工智能(RAIMOND)
专知会员服务
13+阅读 · 4月12日
远程空中优势:新一代超视距导弹的兴起
专知会员服务
2+阅读 · 4月12日
大语言模型溯因推理的统一分类学与综述
专知会员服务
3+阅读 · 4月12日
相关VIP内容
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员