Datasets in practical document processing scenarios typically grow over time, and their class annotations undergo continuous refinement. This creates significant re-annotation efforts, which are time-consuming and costly. A promising remedy is to re-annotate only a small subset of available documents manually and apply semi-supervised learning techniques that leverage both labelled and unlabelled data. Although there are numerous approaches to tackle this problem for classification, there exists no adaptation for the problem of re-classifying object detection instances, e.g. for document layout analysis. To this end, we propose Bounding Box Label Propagation (BBLP), a pseudo-labelling framework for object detection. An object encoder integrates visual, textual, and positional embeddings from object detection samples to come up with a joint embedding that can be used for Label Propagation on partially annotated datasets in a plug-and-play fashion. Evaluation results indicate that the proposed approach produces high-quality class annotations of bounding boxes. In the D4LA layout analysis dataset, it achieves a mAP of 54.0%, corresponding to 81.6% of fully supervised performance, while using only 10% labelled data. Our work demonstrates the potential of Label Propagation for object detection and lays the groundwork for reducing manual annotation efforts in real-world document processing applications.


翻译:在实际文档处理场景中,数据集通常随时间增长,其类别标注也持续细化更新。这产生了大量耗时耗资的重标注工作。一种有前景的解决方案是仅对少量可用文档进行人工重标注,并应用同时利用标注与未标注数据的半监督学习技术。尽管针对分类问题已有多种处理该问题的方案,但目前尚无适用于目标检测实例重分类(例如文档布局分析)的改编方法。为此,我们提出边界框标签传播(BBLP),一种面向目标检测的伪标签框架。该框架通过目标编码器整合目标检测样本的视觉、文本及位置嵌入,生成可即插即用地对部分标注数据集进行标签传播的联合嵌入。评估结果表明,所提方法能够为边界框生成高质量的类别标注。在D4LA布局分析数据集中,该方法仅使用10%的标注数据即可达到54.0%的mAP,对应全监督性能的81.6%。我们的工作展示了标签传播在目标检测领域的潜力,并为减少真实文档处理应用中的人工标注工作量奠定了基础。

0
下载
关闭预览

相关内容

标注受限场景下的视觉表征与理解
专知会员服务
14+阅读 · 2025年2月6日
监督和半监督学习下的多标签分类综述
专知会员服务
46+阅读 · 2022年8月3日
专知会员服务
40+阅读 · 2021年5月18日
专知会员服务
17+阅读 · 2021年2月17日
【WSDM2021】弱监督下的分层元数据感知文档分类
专知会员服务
11+阅读 · 2020年11月16日
标签间相关性在多标签分类问题中的应用
人工智能前沿讲习班
23+阅读 · 2019年6月5日
Polygon-RNN++图像分割数据集自动标注
论智
10+阅读 · 2018年8月16日
深度学习在文本分类中的应用
AI研习社
13+阅读 · 2018年1月7日
如何用TensorFlow和TF-Slim实现图像标注、分类与分割
北京思腾合力科技有限公司
21+阅读 · 2017年11月24日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Arxiv
0+阅读 · 5月7日
VIP会员
最新内容
印度精确打击与指挥架构的断层
专知会员服务
4+阅读 · 7月20日
美空军AI完成F-16战斗机自主空战历史性试飞
专知会员服务
6+阅读 · 7月20日
深入Project Maven:为何人工智能在战场上依然失灵
锻造未来士兵:外骨骼、基因工程与赛博格
专知会员服务
7+阅读 · 7月19日
《无人机蜂群通信技术研究》50页
专知会员服务
10+阅读 · 7月19日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
12+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员