Compared to many other dense prediction tasks, e.g., semantic segmentation, it is the arbitrary number of instances that has made instance segmentation much more challenging. In order to predict a mask for each instance, mainstream approaches either follow the 'detect-then-segment' strategy (e.g., Mask R-CNN), or predict embedding vectors first then cluster pixels into individual instances. In this paper, we view the task of instance segmentation from a completely new perspective by introducing the notion of "instance categories", which assigns categories to each pixel within an instance according to the instance's location. With this notion, we propose segmenting objects by locations (SOLO), a simple, direct, and fast framework for instance segmentation with strong performance. We derive a few SOLO variants (e.g., Vanilla SOLO, Decoupled SOLO, Dynamic SOLO) following the basic principle. Our method directly maps a raw input image to the desired object categories and instance masks, eliminating the need for the grouping post-processing or the bounding box detection. Our approach achieves state-of-the-art results for instance segmentation in terms of both speed and accuracy, while being considerably simpler than the existing methods. Besides instance segmentation, our method yields state-of-the-art results in object detection (from our mask byproduct) and panoptic segmentation. We further demonstrate the flexibility and high-quality segmentation of SOLO by extending it to perform one-stage instance-level image matting. Code is available at: https://git.io/AdelaiDet


翻译:与许多其他密集的预测任务相比,例如语义分解,是任意的事例数量使得例义分解更具挑战性。为了预测每个实例的遮罩,主流方法要么遵循“检测-当分解”战略(例如Mask R-CNN),要么先预测矢量嵌入单个实例,然后分组像素。在本文中,我们从一个全新的角度看待实例分解任务,方法是引入“整合类别”的概念,根据实例的位置,在实例中为每个像素分解指定了类别。有了这个概念,我们建议按地点(SOLO)对对象进行分解,这是一个简单、直接和快速的框架,以显示强效的分解。我们的方法根据基本原则(例如Vanilla SOLO、Dcoupleed SOLO、动态SOLO)从一个全新的分解任务。我们的方法直接绘制了一个原始输入图像到理想对象类别和掩码,从而消除了对后处理或绑定的比框层次层次层次的分类的需要。我们的方法比目前更精确的分解方法更精确地展示了一种分解方式。我们现有的分解方法,比了一种分解的分解。我们的方法比了一种分解方法比了我们现有的分解的分解方法,比了一种分解。我们现有的分解方法,比了一种分解了一种分解方式,比了我们现有的分解方法,比现在的分解方法比的分解的分解。

0
下载
关闭预览

相关内容

专知会员服务
87+阅读 · 2021年1月7日
专知会员服务
111+阅读 · 2020年3月12日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
TorchSeg:基于pytorch的语义分割算法开源了
极市平台
20+阅读 · 2019年1月28日
Unsupervised Learning via Meta-Learning
CreateAMind
44+阅读 · 2019年1月3日
meta learning 17年:MAML SNAIL
CreateAMind
11+阅读 · 2019年1月2日
计算机视觉的不同任务
专知
5+阅读 · 2018年8月27日
【推荐】视频目标分割基础
机器学习研究会
9+阅读 · 2017年9月19日
Arxiv
8+阅读 · 2021年6月1日
UPSNet: A Unified Panoptic Segmentation Network
Arxiv
4+阅读 · 2019年1月12日
VIP会员
最新内容
综述 | 从问答到任务完成:Agent系统与Harness设计
专知会员服务
2+阅读 · 今天16:54
Agentic RL:框架、实践与长程智能体训练
专知会员服务
1+阅读 · 今天16:52
重新思考无人机时代的生存能力
专知会员服务
5+阅读 · 今天7:44
装甲突击旅:现代战争思考、战斗与组织
专知会员服务
4+阅读 · 今天7:28
在人工智能加速决策环境中拓展OODA循环
专知会员服务
4+阅读 · 今天7:18
军事欺骗:供作战战术指挥官使用的工具
专知会员服务
4+阅读 · 今天7:03
综述 | 世界动作模型:少做梦,多行动
专知会员服务
6+阅读 · 6月23日
美以伊冲突:无人机与人工智能的运用
专知会员服务
10+阅读 · 6月23日
《特种部队在透明战场中的生存力》最新报告
专知会员服务
5+阅读 · 6月23日
Top
微信扫码咨询专知VIP会员