Previous deep learning-based line segment detection (LSD) suffer from the immense model size and high computational cost for line prediction. This constrains them from real-time inference on computationally restricted environments. In this paper, we propose a real-time and light-weight line segment detector for resource-constrained environments named Mobile LSD (M-LSD). We design an extremely efficient LSD architecture by minimizing the backbone network and removing the typical multi-module process for line prediction in previous methods. To maintain competitive performance with such a light-weight network, we present novel training schemes: Segments of Line segment (SoL) augmentation and geometric learning scheme. SoL augmentation splits a line segment into multiple subparts, which are used to provide auxiliary line data during the training process. Moreover, the geometric learning scheme allows a model to capture additional geometry cues from matching loss, junction and line segmentation, length and degree regression. Compared with TP-LSD-Lite, previously the best real-time LSD method, our model (M-LSD-tiny) achieves competitive performance with 2.5% of model size and an increase of 130.5% in inference speed on GPU when evaluated with Wireframe and YorkUrban datasets. Furthermore, our model runs at 56.8 FPS and 48.6 FPS on Android and iPhone mobile devices, respectively. To the best of our knowledge, this is the first real-time deep LSD method available on mobile devices.


翻译:先前的深层次基于学习的线段检测(LSD)受到巨大的模型规模和高计算成本的线段预测(LSD)的影响。这制约了他们从计算限制环境中的实时推断。在本文件中,我们提议为资源受限制的环境(名为M-LSD(M-LSD))建立一个实时和轻量线段检测器。我们设计了一个极高效的LSD架构,办法是尽量减少主干网,并去除以往方法中典型的线段预测多模块程序。为了保持这种轻量网络的竞争性性能,我们提出了新的培训计划:线段(SoL)增强和几何学学习计划。SoL增强将线段分成多个小段,用于在培训过程中提供辅助性线段数据。此外,几何学学习计划允许一种模型从匹配损失、连接和线段分解、长度和程度回归中获取更多的几何线线线线线线。 与TP-LSD-Lite(以前的最佳实时LSD)方法相比,我们的模型(M-LSD-tin-SD-SD)和几何学习计划部分实现最佳竞争性性性性性性性性性工作,在模型中分别以2.5/FPSBSDFSL.5的模型和速度中,在可理解中,在可理解中,在SL-xxxxxxxxxxxxxxxx中,其速度中,在Slxxxx节中,用最佳和速度为2.5-30。

0
下载
关闭预览

相关内容

【Google】梯度下降,48页ppt
专知会员服务
81+阅读 · 2020年12月5日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
61+阅读 · 2020年5月9日
专知会员服务
61+阅读 · 2020年3月19日
专知会员服务
110+阅读 · 2020年3月12日
深度强化学习策略梯度教程,53页ppt
专知会员服务
184+阅读 · 2020年2月1日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
不需要预训练模型的检测算法—DSOD
极市平台
9+阅读 · 2019年10月10日
已删除
将门创投
6+阅读 · 2019年7月11日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
【泡泡一分钟】高动态环境的语义单目SLAM
泡泡机器人SLAM
5+阅读 · 2019年3月27日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Arxiv
13+阅读 · 2021年3月3日
Augmentation for small object detection
Arxiv
13+阅读 · 2019年2月19日
VIP会员
最新内容
人工智能赋能无人机:俄乌战争(万字长文)
专知会员服务
1+阅读 · 59分钟前
国外海军作战管理系统与作战训练系统
专知会员服务
0+阅读 · 今天4:16
美军条令《海军陆战队规划流程(2026版)》
专知会员服务
6+阅读 · 今天3:36
《压缩式分布式交互仿真标准》120页
专知会员服务
3+阅读 · 今天3:21
《电子战数据交换模型研究报告》
专知会员服务
5+阅读 · 今天3:13
《基于Transformer的异常舰船导航识别与跟踪》80页
《低数据领域军事目标检测模型研究》
专知会员服务
5+阅读 · 今天2:37
【CMU博士论文】物理世界的视觉感知与深度理解
伊朗战争停火期间美军关键弹药状况分析
专知会员服务
8+阅读 · 4月22日
电子战革命:塑造战场的十年突破(2015–2025)
相关VIP内容
【Google】梯度下降,48页ppt
专知会员服务
81+阅读 · 2020年12月5日
深度学习搜索,Exploring Deep Learning for Search
专知会员服务
61+阅读 · 2020年5月9日
专知会员服务
61+阅读 · 2020年3月19日
专知会员服务
110+阅读 · 2020年3月12日
深度强化学习策略梯度教程,53页ppt
专知会员服务
184+阅读 · 2020年2月1日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
164+阅读 · 2019年10月12日
相关资讯
不需要预训练模型的检测算法—DSOD
极市平台
9+阅读 · 2019年10月10日
已删除
将门创投
6+阅读 · 2019年7月11日
【泡泡汇总】CVPR2019 SLAM Paperlist
泡泡机器人SLAM
14+阅读 · 2019年6月12日
【泡泡一分钟】高动态环境的语义单目SLAM
泡泡机器人SLAM
5+阅读 · 2019年3月27日
人脸检测库:libfacedetection
Python程序员
15+阅读 · 2019年3月22日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Top
微信扫码咨询专知VIP会员