Depth completion aims to generate a dense depth map from the sparse depth map and aligned RGB image. However, current depth completion methods use extremely expensive 64-line LiDAR(about $100,000) to obtain sparse depth maps, which will limit their application scenarios. Compared with the 64-line LiDAR, the single-line LiDAR is much less expensive and much more robust. Therefore, we propose a method to tackle the problem of single-line depth completion, in which we aim to generate a dense depth map from the single-line LiDAR info and the aligned RGB image. A single-line depth completion dataset is proposed based on the existing 64-line depth completion dataset(KITTI). A network called Semantic Guided Two-Branch Network(SGTBN) which contains global and local branches to extract and fuse global and local info is proposed for this task. A Semantic guided depth upsampling module is used in our network to make full use of the semantic info in RGB images. Except for the usual MSE loss, we add the virtual normal loss to increase the constraint of high-order 3D geometry in our network. Our network outperforms the state-of-the-art in the single-line depth completion task. Besides, compared with the monocular depth estimation, our method also has significant advantages in precision and model size.


翻译:深度完成的目的是从稀薄的深度地图和相匹配的 RGB 图像中生成一个密密的深度地图。 然而,当前深度完成方法使用极其昂贵的64线LIDAR(约100 000美元)来获取稀薄的深度地图,这将限制其应用情景。 与64线LIDAR相比,单线LIDAR的深度完成方法的成本要低得多,而且要强得多。 因此,我们提出了一个方法来解决单线深度完成问题,我们的目标是从单线LIDAR Info 和对齐的 RGB 图像中生成一个密密的深度地图。 在现有的64线深度完成数据集(KITTI)的基础上,提出了一个单线深度完成数据集。 一个名为Semanitic 向导双层网络(SGTBN)的网络,该网络包含全球和地方分支,可以提取和连接全球和本地信息,而且更稳健。 我们的深度测试模块使用一个深度模块,以充分利用RGB 图像中的语义信息。除了通常的MSE损失外,我们增加虚拟正常的深度数据损失,以增加高端的深度网络的深度 3D 的深度的深度 。 我们的深度任务中, 的模型的模型的深度比比重的模型的深度任务的深度的深度的深度, 的深度定义的深度的模型的深度的深度分析。

0
下载
关闭预览

相关内容

Networking:IFIP International Conferences on Networking。 Explanation:国际网络会议。 Publisher:IFIP。 SIT: http://dblp.uni-trier.de/db/conf/networking/index.html
专知会员服务
32+阅读 · 2021年6月12日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
专知会员服务
26+阅读 · 2021年3月7日
“CVPR 2020 接受论文列表 1470篇论文都在这了
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
13+阅读 · 2019年1月16日
【泡泡一分钟】基于3D激光雷达地图的立体相机定位
泡泡机器人SLAM
4+阅读 · 2019年1月14日
【泡泡一分钟】视觉惯性里程计的信息稀疏化(IROS-2018)
泡泡机器人SLAM
9+阅读 · 2018年12月31日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
VIP会员
最新内容
现代战争的隐蔽系统:伊朗战争十大启示
专知会员服务
0+阅读 · 55分钟前
ICML 2026 | 自回归Boltzmann生成器重塑分子采样
专知会员服务
3+阅读 · 6月26日
GNN跨域综述:从消息传递到图基础模型
专知会员服务
4+阅读 · 6月26日
无人机自主控制与人工智能:系统性综述
专知会员服务
12+阅读 · 6月26日
巡飞弹与反无人机系统——现代战场的两大支柱
《打造“黄金舰队”》57页报告
专知会员服务
4+阅读 · 6月26日
《北约数字教官网络发展路径》128页报告
专知会员服务
3+阅读 · 6月26日
ECCV 2026 | MIMFlow:MIM与归一化流统一图像生成
专知会员服务
7+阅读 · 6月25日
网状网络及其在军事领域的运用
专知会员服务
8+阅读 · 6月25日
无美国参与的欧洲战争方式(万字长文)
专知会员服务
8+阅读 · 6月25日
相关VIP内容
专知会员服务
32+阅读 · 2021年6月12日
MonoGRNet:单目3D目标检测的通用框架(TPAMI2021)
专知会员服务
18+阅读 · 2021年5月3日
专知会员服务
26+阅读 · 2021年3月7日
相关资讯
“CVPR 2020 接受论文列表 1470篇论文都在这了
【泡泡一分钟】基于运动估计的激光雷达和相机标定方法
泡泡机器人SLAM
25+阅读 · 2019年1月17日
【泡泡一分钟】LIMO:激光和单目相机融合的视觉里程计
泡泡机器人SLAM
13+阅读 · 2019年1月16日
【泡泡一分钟】基于3D激光雷达地图的立体相机定位
泡泡机器人SLAM
4+阅读 · 2019年1月14日
【泡泡一分钟】视觉惯性里程计的信息稀疏化(IROS-2018)
泡泡机器人SLAM
9+阅读 · 2018年12月31日
【推荐】YOLO实时目标检测(6fps)
机器学习研究会
20+阅读 · 2017年11月5日
【推荐】深度学习目标检测概览
机器学习研究会
10+阅读 · 2017年9月1日
Top
微信扫码咨询专知VIP会员