To address the scarcity of high-quality part annotations in existing datasets, we introduce PartImageNet++ (PIN++), a dataset that provides detailed part annotations for all categories in ImageNet-1K. With 100 annotated images per category, totaling 100K images, PIN++ represents the most comprehensive dataset covering a diverse range of object categories. Leveraging PIN++, we propose a Multi-scale Part-supervised recognition Model (MPM) for robust classification on ImageNet-1K. We first trained a part segmentation network using PIN++ and used it to generate pseudo part labels for the remaining unannotated images. MPM then integrated a conventional recognition architecture with auxiliary bypass layers, jointly supervised by both pseudo part labels and the original part annotations. Furthermore, we conducted extensive experiments on PIN++, including part segmentation, object segmentation, and few-shot learning, exploring various ways to leverage part annotations in downstream tasks. Experimental results demonstrated that our approach not only enhanced part-based models for robust object recognition but also established strong baselines for multiple downstream tasks, highlighting the potential of part annotations in improving model performance. The dataset and the code are available at https://github.com/LixiaoTHU/PartImageNetPP.


翻译:针对现有数据集中高质量部件标注稀缺的问题,我们提出了 PartImageNet++(PIN++)数据集,该数据集为 ImageNet-1K 中的所有类别提供了详细的部件标注。PIN++ 每类包含 100 张标注图像,总计 10 万张图像,是迄今为止覆盖最广泛、类别最多样的数据集。基于 PIN++,我们提出了一种多尺度部件监督识别模型(MPM),用于在 ImageNet-1K 上进行鲁棒的分类。我们首先使用 PIN++ 训练了一个部件分割网络,并利用该网络为其余未标注图像生成伪部件标签。随后,MPM 将传统的识别架构与辅助旁路层相结合,同时接受伪部件标签和原始部件标注的联合监督。此外,我们在 PIN++ 上进行了广泛的实验,包括部件分割、目标分割和少样本学习,探索了在下游任务中利用部件标注的各种方法。实验结果表明,我们的方法不仅增强了基于部件的模型在鲁棒目标识别上的性能,还为多个下游任务建立了强有力的基线,凸显了部件标注在提升模型性能方面的潜力。数据集与代码已公开于 https://github.com/LixiaoTHU/PartImageNetPP。

0
下载
关闭预览

相关内容

ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
VIP会员
相关资讯
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员