In Robot-Assisted Minimally Invasive Surgery (RMIS), accurate tool localization is crucial to ensure patient safety and successful task execution. However, this remains challenging for cable-driven robots, such as the da Vinci robot, because erroneous encoder readings lead to pose estimation errors. In this study, we propose a calibration framework to produce accurate tool localization results through computing the hand-eye transformation matrix on-the-fly. The framework consists of two interrelated algorithms: the feature association block and the hand-eye calibration block, which provide robust correspondences for key points detected on monocular images without pre-training, and offer the versatility to accommodate various surgical scenarios by adopting an array of filter approaches, respectively. To validate its efficacy, we test the framework extensively on publicly available video datasets that feature multiple surgical instruments conducting tasks in both in vitro and ex vivo scenarios, under varying illumination conditions and with different levels of key point measurement accuracy. The results show a significant reduction in tool localization errors under the proposed calibration framework, with accuracies comparable to other state-of-the-art methods while being more time-efficient.


翻译:在机器人辅助微创手术中,精确的工具定位对于确保患者安全和成功执行手术任务至关重要。然而,对于缆线驱动型机器人(如达芬奇手术机器人)而言,由于编码器读数误差会导致位姿估计偏差,这一目标仍具挑战性。本研究提出一种标定框架,通过实时计算手眼变换矩阵实现精确的工具定位。该框架包含两个相互关联的算法模块:特征关联模块在手眼标定模块无需预训练即可建立单目图像关键点的鲁棒对应关系,后者则通过采用多种滤波方法适配不同手术场景。为验证其有效性,我们在公开视频数据集上开展广泛测试,涵盖多种手术器械在体外与离体场景中的操作,并考虑了不同光照条件及关键点测量精度等级。实验结果表明,所提标定框架显著降低了工具定位误差,在保持与现有最优方法相当精度的同时,显著提升了时间效率。

0
下载
关闭预览

相关内容

利用人工智能提升战术级目标定位能力
专知会员服务
40+阅读 · 2024年12月4日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
专知会员服务
106+阅读 · 2020年11月27日
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
一次拍摄搞定多相机自动化标定
计算机视觉life
12+阅读 · 2018年4月1日
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Arxiv
0+阅读 · 5月13日
VIP会员
最新内容
无人机已改变战场,但并未解决指挥问题
专知会员服务
5+阅读 · 8月14日
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
11+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
16+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
相关VIP内容
利用人工智能提升战术级目标定位能力
专知会员服务
40+阅读 · 2024年12月4日
灵巧手:人形机器人应用落地的关键
专知会员服务
22+阅读 · 2024年9月26日
专知会员服务
106+阅读 · 2020年11月27日
相关资讯
SkeletonNet:完整的人体三维位姿重建方法
计算机视觉life
21+阅读 · 2019年1月21日
【机器人】机器人PID控制
产业智能官
10+阅读 · 2018年11月25日
【机器视觉】机器视觉全面解析
产业智能官
12+阅读 · 2018年11月12日
【紫冬分享】移动机器人视觉里程计综述
中国科学院自动化研究所
12+阅读 · 2018年10月31日
一次拍摄搞定多相机自动化标定
计算机视觉life
12+阅读 · 2018年4月1日
相关基金
国家自然科学基金
11+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员