Accurate grasping point prediction is a key challenge for autonomous tissue manipulation in minimally invasive surgery, particularly in complex and variable procedures such as colorectal interventions. Due to their complexity and prolonged duration, colorectal procedures have been underrepresented in current research. At the same time, they pose a particularly interesting learning environment due to repetitive tissue manipulation, making them a promising entry point for autonomous, machine learning-driven support. Therefore, in this work, we introduce attachment anchors, a structured representation that encodes the local geometric and mechanical relationships between tissue and its anatomical attachments in colorectal surgery. This representation reduces uncertainty in grasping point prediction by normalizing surgical scenes into a consistent local reference frame. We demonstrate that attachment anchors can be predicted from laparoscopic images and incorporated into a grasping framework based on machine learning. Experiments on a dataset of 90 colorectal surgeries demonstrate that attachment anchors improve grasping point prediction compared to image-only baselines. There are particularly strong gains in out-of-distribution settings, including unseen procedures and operating surgeons. These results suggest that attachment anchors are an effective intermediate representation for learning-based tissue manipulation in colorectal surgery.


翻译:在微创手术中,准确的抓取点预测是实现自主组织操作的关键挑战,尤其是在诸如结直肠介入手术这类复杂多变的操作中。由于其复杂性和较长的持续时间,结直肠手术在当前研究中代表性不足。同时,由于存在重复性的组织操作,它们构成了一个特别有趣的学习环境,使其成为实现自主、机器学习驱动支持的一个有前景的切入点。因此,在本工作中,我们引入了附着锚点,这是一种结构化的表示方法,用于编码结直肠手术中组织与其解剖附着物之间的局部几何与力学关系。该表示通过将手术场景归一化到一个一致的局部参考系中,降低了抓取点预测的不确定性。我们证明了附着锚点可以从腹腔镜图像中预测出来,并可以整合到基于机器学习的抓取框架中。在一个包含90例结直肠手术的数据集上进行的实验表明,与仅使用图像的基线方法相比,附着锚点改善了抓取点预测。在分布外场景中,包括未见过的术式和主刀医生,其提升尤为显著。这些结果表明,附着锚点是结直肠手术中基于学习的组织操作的一种有效的中间表示。

0
下载
关闭预览

相关内容

医学图像关键点检测深度学习方法研究与挑战
专知会员服务
51+阅读 · 2022年4月10日
图节点嵌入(Node Embeddings)概述,9页pdf
专知
15+阅读 · 2020年8月22日
从锚点到关键点,最新的目标检测方法发展趋势
计算机视觉life
17+阅读 · 2019年8月20日
图嵌入(Graph embedding)综述
人工智能前沿讲习班
449+阅读 · 2019年4月30日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
医学图像关键点检测深度学习方法研究与挑战
专知会员服务
51+阅读 · 2022年4月10日
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员