Parsing historical documents with complex, non-standard layouts remains a fundamental bottleneck in large-scale archival digitization. Unlike modern typography, historical newspapers exhibit severe physical degradation and highly irregular page structures that confound even state-of-the-art vision-language models, presenting severe out-of-distribution challenges. We address this gap with an automated pipeline specifically designed for parsing historical newspapers, documents characterized by particularly intricate multi-column layouts. Our approach combines a fine-tuned YOLO architecture for layout analysis and block detection, trained on 1,426 fully human-annotated scanned pages, with a novel semantic assembly module that reconstructs articles by jointly modeling lexical-semantic similarity via TF-IDF, visual embeddings from our fine-tuned YOLO, and geometric layout constraints. This multi-modal integration yields state-of-the-art performance, achieving an F1 score of 0.904 on block-to-article mapping. Notably, end-to-end evaluation against vision-language models (Qwen3.6-35B-A3B and Qwen3.6-Plus) demonstrates that PereStruct achieves substantially higher fidelity (BLEU approximately 0.96 vs 0.34), validating that modular architectures excel where generic VLMs fail on complex historical layouts. To support reproducibility and advance research in this domain, we release both the training corpus of 599 annotated pages and a curated PereStruct benchmark of 93 pages with expert-verified ground-truth block-to-article mappings. This framework establishes a robust foundation for high-fidelity digitization and semantic reconstruction of complex archival materials.


翻译:解析具有复杂非标准版式的历史文档仍是大规模档案数字化的根本瓶颈。与现代排版不同,历史报纸存在严重的物理退化与高度不规则的页面结构,即使是当前最先进的视觉语言模型也面临严峻的分布外挑战。我们针对这一问题,提出了一种专为解析具有复杂多列布局特征的历史报纸而设计的自动化流水线。该方法结合了用于版面分析与区块检测的微调YOLO架构(基于1,426张完全人工标注的扫描页面训练),以及一个新颖的语义组装模块——该模块通过联合建模基于TF-IDF的词汇语义相似性、来自微调YOLO的视觉嵌入以及几何布局约束来重构文章。这种多模态整合方法实现了当前最优性能,在区块到文章的映射任务上获得了0.904的F1分数。值得注意的是,与视觉语言模型(Qwen3.6-35B-A3B和Qwen3.6-Plus)的端到端评估表明,PereStruct实现了显著更高的保真度(BLEU约0.96对比0.34),验证了模块化架构在通用视觉语言模型难以处理的复杂历史版式上表现优越。为支持可复现性并推动该领域研究,我们发布了包含599张已标注页面的训练语料库,以及一个包含93张页面、具有专家验证真实区块-文章映射关系的精选PereStruct基准测试集。该框架为高保真数字化及复杂档案材料的语义重建奠定了坚实基础。

0
下载
关闭预览

相关内容

【博士论文】用于化学结构抽取的多模态文档理解
专知会员服务
9+阅读 · 2025年10月12日
【MIT博士论文】可部署的鲁棒文本分类器
专知会员服务
27+阅读 · 2023年5月4日
动态可视化指南:一步步拆解LSTM和GRU
论智
17+阅读 · 2018年10月25日
机器学习自动文本分类
AI前线
23+阅读 · 2018年2月4日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
VIP会员
最新内容
人工智能赋能战场情报:提速决策进程
专知会员服务
0+阅读 · 15分钟前
《拥抱新兴技术:面向未来军官的教育革新》
专知会员服务
0+阅读 · 19分钟前
《无人地面战车(UGV)的崛起》报告
专知会员服务
7+阅读 · 7月16日
美陆军任务式指挥人工智能解决方案
专知会员服务
11+阅读 · 7月16日
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员