In Robot-Assisted Minimally Invasive Surgery (RMIS), accurate tool localization is crucial to ensure patient safety and successful task execution. However, this remains challenging for cable-driven robots, such as the da Vinci robot, because erroneous encoder readings lead to pose estimation errors. In this study, we propose a calibration framework to produce accurate tool localization results through computing the hand-eye transformation matrix on-the-fly. The framework consists of two interrelated algorithms: the feature association block and the hand-eye calibration block, which provide robust correspondences for key points detected on monocular images without pre-training, and offer the versatility to accommodate various surgical scenarios by adopting an array of filter approaches, respectively. To validate its efficacy, we test the framework extensively on publicly available video datasets that feature multiple surgical instruments conducting tasks in both in vitro and ex vivo scenarios, under varying illumination conditions and with different levels of key point measurement accuracy. The results show a significant reduction in tool localization errors under the proposed calibration framework, with accuracies comparable to other state-of-the-art methods while being more time-efficient.


翻译:在机器人辅助微创手术中,精确的工具定位对于确保患者安全和成功执行手术任务至关重要。然而,对于缆线驱动型机器人(如达芬奇手术机器人)而言,由于编码器读数误差会导致位姿估计偏差,这一目标仍具挑战性。本研究提出一种标定框架,通过实时计算手眼变换矩阵实现精确的工具定位。该框架包含两个相互关联的算法模块:特征关联模块在手眼标定模块无需预训练即可建立单目图像关键点的鲁棒对应关系,后者则通过采用多种滤波方法适配不同手术场景。为验证其有效性,我们在公开视频数据集上开展广泛测试,涵盖多种手术器械在体外与离体场景中的操作,并考虑了不同光照条件及关键点测量精度等级。实验结果表明,所提标定框架显著降低了工具定位误差,在保持与现有最优方法相当精度的同时,显著提升了时间效率。

0
下载
关闭预览

相关内容

利用人工智能提升战术级目标定位能力
专知会员服务
39+阅读 · 2024年12月4日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
专知会员服务
106+阅读 · 2020年11月27日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
一次拍摄搞定多相机自动化标定
计算机视觉life
12+阅读 · 2018年4月1日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
美国从乌克兰无人机战争中学习经验
专知会员服务
1+阅读 · 今天15:03
ICML 2026 | 面向视觉语言模型的语义鲁棒性认证
专知会员服务
0+阅读 · 今天14:31
学习数据的几何:形状空间分析数学综述
专知会员服务
8+阅读 · 6月17日
定向能反无人机系统最新发展动态
专知会员服务
10+阅读 · 6月17日
相关VIP内容
利用人工智能提升战术级目标定位能力
专知会员服务
39+阅读 · 2024年12月4日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
专知会员服务
106+阅读 · 2020年11月27日
相关资讯
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
一次拍摄搞定多相机自动化标定
计算机视觉life
12+阅读 · 2018年4月1日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员