We propose a simple yet effective framework for instance and panoptic segmentation, termed CondInst (conditional convolutions for instance and panoptic segmentation). In the literature, top-performing instance segmentation methods typically follow the paradigm of Mask R-CNN and rely on ROI operations (typically ROIAlign) to attend to each instance. In contrast, we propose to attend to the instances with dynamic conditional convolutions. Instead of using instance-wise ROIs as inputs to the instance mask head of fixed weights, we design dynamic instance-aware mask heads, conditioned on the instances to be predicted. CondInst enjoys three advantages: 1.) Instance and panoptic segmentation are unified into a fully convolutional network, eliminating the need for ROI cropping and feature alignment. 2.) The elimination of the ROI cropping also significantly improves the output instance mask resolution. 3.) Due to the much improved capacity of dynamically-generated conditional convolutions, the mask head can be very compact (e.g., 3 conv. layers, each having only 8 channels), leading to significantly faster inference time per instance and making the overall inference time almost constant, irrelevant to the number of instances. We demonstrate a simpler method that can achieve improved accuracy and inference speed on both instance and panoptic segmentation tasks. On the COCO dataset, we outperform a few state-of-the-art methods. We hope that CondInst can be a strong baseline for instance and panoptic segmentation. Code is available at: https://git.io/AdelaiDet


翻译:我们建议一个简单而有效的框架,例如和光学截面,称为CondInst。在文献中,高性能截面方法通常遵循Mask R-CNN的范式,并依赖ROI的运行(通常为ROI)来应对每个实例。相反,我们提议以动态有条件的反光截面来应对这些实例。我们不使用以实例为根据的模型作为固定重量掩码的输入,而是设计动态的、有纯度的掩面头,以要预测的事例为条件。CondInst享有三个优势:1)事件和全性截面截面截面法通常遵循Mask R-CNN的范式,并依赖ROI的运行操作(通常为ROI)来应对每个实例。我们建议用动态生成的有条件反光谱解面图解面来应对这些实例。由于动态生成的模拟能力大大提高,遮面头可以非常紧凑(e.g. 3 conv. 层,每层仅有8个频道),从而大大加速。Cretating cretating a prefirate time a prience a prefrience agentitudeal ex

0
下载
关闭预览

相关内容

Google最新《机器学习对偶性》报告,48页ppt
专知会员服务
36+阅读 · 2020年11月29日
图像分割方法综述
专知会员服务
56+阅读 · 2020年11月22日
一份简单《图神经网络》教程,28页ppt
专知会员服务
127+阅读 · 2020年8月2日
语义分割 | context relation
极市平台
8+阅读 · 2019年2月9日
《pyramid Attention Network for Semantic Segmentation》
统计学习与视觉计算组
44+阅读 · 2018年8月30日
【论文】变分推断(Variational inference)的总结
机器学习研究会
39+阅读 · 2017年11月16日
S4Net: Single Stage Salient-Instance Segmentation
Arxiv
10+阅读 · 2019年4月10日
UPSNet: A Unified Panoptic Segmentation Network
Arxiv
4+阅读 · 2019年1月12日
Panoptic Feature Pyramid Networks
Arxiv
3+阅读 · 2019年1月8日
Arxiv
8+阅读 · 2018年5月15日
VIP会员
相关VIP内容
Google最新《机器学习对偶性》报告,48页ppt
专知会员服务
36+阅读 · 2020年11月29日
图像分割方法综述
专知会员服务
56+阅读 · 2020年11月22日
一份简单《图神经网络》教程,28页ppt
专知会员服务
127+阅读 · 2020年8月2日
相关资讯
相关论文
S4Net: Single Stage Salient-Instance Segmentation
Arxiv
10+阅读 · 2019年4月10日
UPSNet: A Unified Panoptic Segmentation Network
Arxiv
4+阅读 · 2019年1月12日
Panoptic Feature Pyramid Networks
Arxiv
3+阅读 · 2019年1月8日
Arxiv
8+阅读 · 2018年5月15日
Top
微信扫码咨询专知VIP会员