In Robot-Assisted Minimally Invasive Surgery (RMIS), accurate tool localization is crucial to ensure patient safety and successful task execution. However, this remains challenging for cable-driven robots, such as the da Vinci robot, because erroneous encoder readings lead to pose estimation errors. In this study, we propose a calibration framework to produce accurate tool localization results through computing the hand-eye transformation matrix on-the-fly. The framework consists of two interrelated algorithms: the feature association block and the hand-eye calibration block, which provide robust correspondences for key points detected on monocular images without pre-training, and offer the versatility to accommodate various surgical scenarios by adopting an array of filter approaches, respectively. To validate its efficacy, we test the framework extensively on publicly available video datasets that feature multiple surgical instruments conducting tasks in both in vitro and ex vivo scenarios, under varying illumination conditions and with different levels of key point measurement accuracy. The results show a significant reduction in tool localization errors under the proposed calibration framework, with accuracies comparable to other state-of-the-art methods while being more time-efficient.


翻译:在机器人辅助微创手术中,精确的手术工具定位对于确保患者安全和手术任务成功执行至关重要。然而,对于达芬奇机器人这类线缆驱动式手术系统,由于编码器读数误差会导致位姿估计偏差,实现精准定位仍面临挑战。本研究提出一种动态计算手眼变换矩阵的标定框架,以实现高精度工具定位。该框架包含两个相互关联的算法模块:特征关联模块与手眼标定模块。前者无需预训练即可为单目图像检测到的关键点提供鲁棒对应关系,后者通过采用多种滤波方法适配不同手术场景。为验证框架有效性,我们在公开视频数据集上进行了全面测试,这些数据集涵盖体外与离体场景下多种手术器械执行任务的情况,包含不同光照条件及关键点测量精度等级。实验结果表明,该标定框架能显著降低工具定位误差,在保持与现有先进方法相当精度的同时,具有更优的时间效率。

0
下载
关闭预览

相关内容

利用人工智能提升战术级目标定位能力
专知会员服务
33+阅读 · 2024年12月4日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
专知会员服务
106+阅读 · 2020年11月27日
IROS2020|机器人自主探索与建图算法,代码已开源!
中国图象图形学报
34+阅读 · 2020年9月8日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
一次拍摄搞定多相机自动化标定
计算机视觉life
12+阅读 · 2018年4月1日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
相关VIP内容
利用人工智能提升战术级目标定位能力
专知会员服务
33+阅读 · 2024年12月4日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
专知会员服务
106+阅读 · 2020年11月27日
相关资讯
IROS2020|机器人自主探索与建图算法,代码已开源!
中国图象图形学报
34+阅读 · 2020年9月8日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
一次拍摄搞定多相机自动化标定
计算机视觉life
12+阅读 · 2018年4月1日
报名 | 让机器读懂你的意图——人体姿态估计入门
人工智能头条
10+阅读 · 2017年9月19日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员