In recent years, learning-based feature detection and matching have outperformed manually-designed methods in in-air cases. However, it is challenging to learn the features in the underwater scenario due to the absence of annotated underwater datasets. This paper proposes a cross-modal knowledge distillation framework for training an underwater feature detection and matching network (UFEN). In particular, we use in-air RGBD data to generate synthetic underwater images based on a physical underwater imaging formation model and employ these as the medium to distil knowledge from a teacher model SuperPoint pretrained on in-air images. We embed UFEN into the ORB-SLAM3 framework to replace the ORB feature by introducing an additional binarization layer. To test the effectiveness of our method, we built a new underwater dataset with groundtruth measurements named EASI (https://github.com/Jinghe-mel/UFEN-SLAM), recorded in an indoor water tank for different turbidity levels. The experimental results on the existing dataset and our new dataset demonstrate the effectiveness of our method.


翻译:近年来,基于学习的特征检测与匹配在空气场景中已超越手工设计方法。然而,由于缺乏带标注的水下数据集,在水下场景中学习特征具有挑战性。本文提出一种跨模态知识蒸馏框架,用于训练水下特征检测与匹配网络(UFEN)。具体而言,我们利用空气RGBD数据,基于物理水下成像模型生成合成水下图像,并以此作为媒介,从预训练于空气图像的教师模型SuperPoint中蒸馏知识。通过引入额外二值化层,我们将UFEN嵌入ORB-SLAM3框架中替代ORB特征。为验证方法有效性,我们构建了名为EASI(https://github.com/Jinghe-mel/UFEN-SLAM)的新水下数据集,该数据集包含不同浊度水平下室内水槽的真实测量数据。在现有数据集及新数据集上的实验结果均证明了我们方法的有效性。

0
下载
关闭预览

相关内容

【CVPR2022】ContrastMask:对比学习来分割各种
专知会员服务
20+阅读 · 2022年3月21日
GNN 新基准!Long Range Graph Benchmark
图与推荐
0+阅读 · 2022年10月18日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
【泡泡一分钟】用于评估视觉惯性里程计的TUM VI数据集
泡泡机器人SLAM
11+阅读 · 2019年1月4日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
9+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Arxiv
21+阅读 · 2021年12月31日
Arxiv
92+阅读 · 2020年2月28日
VIP会员
最新内容
马赛克战:俄乌战场透析
专知会员服务
0+阅读 · 29分钟前
《利用人工智能增强军事决策》
专知会员服务
0+阅读 · 32分钟前
《自动机器学习在军事数据耕耘法中的应用》
专知会员服务
0+阅读 · 39分钟前
为何指挥所生存能力要求范式转变
专知会员服务
0+阅读 · 47分钟前
“蛛网”行动一周年:远程无人机战争
专知会员服务
0+阅读 · 今天3:23
【剑桥博士论文】智能体-环境协同优化
专知会员服务
5+阅读 · 6月9日
为初级军官战术训练设计生成式人工智能平台
专知会员服务
7+阅读 · 6月9日
《美军条令:作战伤员后送保障》
专知会员服务
5+阅读 · 6月9日
相关VIP内容
【CVPR2022】ContrastMask:对比学习来分割各种
专知会员服务
20+阅读 · 2022年3月21日
相关基金
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
9+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2013年12月31日
国家自然科学基金
3+阅读 · 2013年12月31日
国家自然科学基金
1+阅读 · 2013年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2011年12月31日
Top
微信扫码咨询专知VIP会员