Object detection and instance segmentation tasks are closely related. Existing top-down instance segmentation methods usually follow a detect-then-segment paradigm, where an initial detector is used to recognize and localize objects with bounding boxes, followed by the segmentation of an instance mask within each bounding box. In such methods, the detection accuracy directly influences the subsequent segmentation performance. However, previous research has seldom explored the impact of the instance segmentation task on object detection. In this paper, we present a turbo-inference strategy for the top-down methods that leverages the complementary information between detection and segmentation tasks iteratively. Specifically we design two modules: turbo-detection head and turbo-segmentation head, which facilitate communication between the tasks. The two modules form a closed loop that interlaces the detection and segmentation results without retraining the model. Comprehensive experiments on the COCO, iFLYTEK, and Cityscapes datasets demonstrate that our method substantially enhances both detection and segmentation accuracies with a certain increase in computational cost. The proposed method represents a tradeoff between prediction accuracy and inference speed. Codes are available at https://github.com/zhaozhen2333/Turbo-Learning.git.


翻译:目标检测与实例分割任务紧密相关。现有的自上而下实例分割方法通常遵循"先检测后分割"的范式,即先通过初始检测器识别并定位目标边界框,随后在每个边界框内分割实例掩膜。此类方法中,检测精度直接影响后续分割性能。然而,现有研究鲜少探讨实例分割任务对目标检测的反向影响。本文针对自上而下方法提出一种涡轮推理策略,通过迭代利用检测与分割任务间的互补信息。我们设计了两个模块:涡轮检测头与涡轮分割头,以促进任务间的信息交互。这两个模块形成闭环结构,无需重训练模型即可交错融合检测与分割结果。在COCO、iFLYTEK和Cityscapes数据集上的全面实验表明,本方法在适度增加计算开销的前提下显著提升了检测与分割精度。所提方法在预测精度与推理速度间实现了折中。代码开源于 https://github.com/zhaozhen2333/Turbo-Learning.git。

0
下载
关闭预览

相关内容

基于深度学习的视觉目标检测技术综述
专知会员服务
62+阅读 · 2022年6月22日
基于深度学习的图像目标检测算法综述
专知会员服务
101+阅读 · 2022年4月15日
专知会员服务
94+阅读 · 2021年8月29日
专知会员服务
87+阅读 · 2021年1月7日
深度学习目标检测方法综述
专知会员服务
281+阅读 · 2020年8月1日
专知会员服务
165+阅读 · 2020年4月21日
基于深度学习的目标检测算法剖析与实现【附PPT与视频资料】
人工智能前沿讲习班
12+阅读 · 2018年12月25日
干货 | 基于深度学习的目标检测算法综述
AI科技评论
18+阅读 · 2018年9月1日
博客 | 基于深度学习的目标检测算法综述(二)
AI研习社
11+阅读 · 2018年8月22日
基于深度学习的目标检测算法综述
AI研习社
15+阅读 · 2018年4月25日
深度学习时代的目标检测算法
炼数成金订阅号
40+阅读 · 2018年3月19日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
VIP会员
最新内容
无人机已改变战场,但并未解决指挥问题
专知会员服务
2+阅读 · 今天15:00
驱动军事决策变革的顶尖人工智能指挥系统
专知会员服务
10+阅读 · 8月11日
非对称防御中的自组织临界性:俄乌战争
专知会员服务
10+阅读 · 8月10日
《战争中的大语言模型监管》
专知会员服务
15+阅读 · 8月10日
《边缘计算关键技术分析及美军作战实践应用》
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
9+阅读 · 2015年12月31日
国家自然科学基金
20+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员