导读

当视觉语言模型能够直接把一页文档生成 Markdown、表格或公式时，文字识别是否已经解决？这篇综述提出一个比“输出读起来合理”更严格的标准：在指定视觉范围内，系统应完整重建源图可见的文字、符号和文档结构，每个输出元素都必须能由图像证据核验。模型不能擅自补全，也不能因为内容难读就悄悄省略。 中国科学院自动化研究所、国科大、西北工业大学、百度和华中科技大学研究者的《OCR in the Foundation Model Era: From Specialist Models to Unified Models》，梳理文字识别从专用组件走向统一生成的技术演进，并将当前生态划为五类共存系统。它重点比较架构、数据与训练，同时分析幻觉、遗漏、空间定位、推理成本和评估边界。 本文按原文五章及编号小节组织，配合原文图表解释核心判断。论文是综述，数值来自被引研究和作者汇编的公开结果，并非作者重新训练所有系统得到的统一实验；文中的榜单数据对应原文截至2026年10月的快照，不代表实时排名。 论文信息：作者 Zhiheng Li、Zongyang Ma、Jiaxian Chen、Cheng Cui、Yi Liu、Ziqi Zhang、Chunfeng Yuan、Bing Li、Xiang Bai、Weiming Hu；通讯作者 Chunfeng Yuan。arXiv 编号2611.04874，首版提交于2026年11月3日。 原文链接：完整论文；摘要与版本信息；作者维护的文献资源。

1 引言（Introduction）

光学字符识别的对象早已不局限于扫描件上的印刷字符：手写、自然场景、公式、表格、多栏布局和阅读顺序，都进入了文档数字化任务。统一生成模型进一步让系统直接输出结构化文档，而不仅是若干文字框。 原文用“忠实转写”界定范围：恢复表格的单元格、行列和合并关系，属于重建源文档；读取图表编码的数据也可属于这一范围，但对数值计算统计量、解释趋势或回答推理问题，则超出了转写本身。关键不是输出用了什么格式，而是它是否对应图像中可见、可核验的信息。 这一区分具有实际意义。问答系统可以只找到回答问题所需的一小块证据，而完整转写不能遗漏其他可见内容；语言模型可以纠正语病，但OCR若把原图中的错字自动改成合理词语，就可能违反转写目标。必要的规范化也应遵循事先声明的输出约定。 统一并非突然由大模型开启。联合检测与识别、位置与文本的序列化、共享解码器等路线早已发展；基础模型扩大了预训练和任务共享的规模。与此同时，专用识别器、整页生成和区域生成仍然并存，不能把历史写成后一类完全替代前一类。

图1：文字识别与文档建模的历史路线。五条技术轨迹归入传统、深度学习和基础模型三个相互衔接的时代；文档预训练提供相关背景，生成式解析将文字、公式和表格放进共同输出。来源：原文图2，第2页；年代表示大致出现或兴起时间，并非严格替代边界。

2 文字识别的历史演进（Historical Evolution of OCR）

2.1 传统文字识别时代

早期光学阅读设备和模板匹配机器依赖受控成像与标准字体，随后发展出结构特征、统计序列模型、支持向量机和早期神经网络。Tesseract 等系统将识别组织为可配置的文档处理流程，应用范围逐步扩展至手写与非拉丁文字。 自然场景引入复杂背景、光照和字体，文字定位开始成为独立难题。最大稳定极值区域、笔画宽度变换等方法通过视觉规律发现候选文字；PhotoOCR 等系统将人工特征与深度分类器结合，体现了从规则与特征工程向学习表示的过渡。

2.2 深度学习时代

检测方法从局部候选连接发展到旋转区域回归和不规则文字分割，代表包括 CTPN、EAST、CRAFT、DBNet。裁剪后的文本识别则出现 CRNN 的卷积、双向循环网络与连接时序分类组合，以及 RARE、ASTER 的形变校正与注意力识别。 TrOCR 使用预训练视觉和语言 Transformer，SVTR 强化视觉序列建模，ABINet 将语言建模用于迭代修正。数据规模与筛选同样影响表现，不能把提升全部归因于网络结构。 联合文字定位识别进一步减少组件交接。FOTS、Mask TextSpotter 共享特征，ABCNet 表示弯曲文字，DeepSolo 联合预测几何与字符；SPTS 把位置和转写放进同一序列，SPTS v2 通过先定位、再并行识别降低长序列成本。 另一条相关路线是文档预训练。LayoutLM、DocFormer、UDOP 联合已有OCR文本、坐标和视觉特征，服务文档理解。它们不应被简单等同于从图像完整转写文档的模型：其上游仍可能依赖独立OCR，输出目标也可能是抽取或问答。

2.3 经验总结与向生成式解析的过渡

模块化系统的优势是组件可独立测试、升级和调试，便于约束解码与成本控制；协调成本主要有三类。 误差传播：漏检或错误布局会限制后续可见区域，整页纠错困难。训练割裂：不同标注和目标使页面级优化复杂。输出整合：文字、区域、层级、顺序及专用标记语言需要可靠接口才能组成一致文档。 生成式解析把更多内容与结构放进共享输出，但并未消除局部识别、布局与装配问题。整页生成让全局信息共同参与解码；布局引导的区域生成则分块识别后装配，两者以不同方式平衡一致性、细节和成本。

3 基础模型时代的文字识别（OCR in the Foundation Model Era）

3.1 生成式文档解析的兴起

这一路线依赖三项条件：可迁移的视觉与语言预训练、高分辨率文档编码，以及规模化页面结构监督。普通视觉编码分辨率可能丢失小字和细表线，因此层级窗口、原生分辨率、切图和全局视图等设计尤其重要。 典型视觉语言架构由图像编码器、跨模态投影和语言解码器组成，以视觉标记为条件生成文本或结构。Donut、Pix2Struct 为图像到序列提供早期基础，Nougat 将类似架构用于科学文档整页转写；不能因为这些模型没有外置识别引擎，就认为它们不再承担识别任务。 统一还可以不依赖预训练大语言模型。OmniParser 用结构点协调文字定位、表格和信息抽取，后续版本增加布局并调整解码共享。论文强调，统一涉及任务共享、输出表示和推理组织多个维度，不等于某一种固定网络。 整页训练数据可来自标记语言渲染、PDF与结构源对齐，或现有OCR引擎生成伪标注后筛选。对于密集页面，区域生成可减少单次序列长度并保留细节，但仍需要准确布局和全局装配。

3.2 系统架构与生态

图2：基础模型时代并存的五类文字识别系统。前四类主要按识别、结构与生成的组织方式划分，第五类因内部细节常不公开而按产品交付方式单列。来源：原文图5，第6页；保留原图内容。 **第一类：模块化工具包与任务专用模型。**Tesseract、PaddleOCR、Docling、docTR 等组合检测、识别与后处理；专用模型可处理文本、布局、公式或表格。它们可以共享训练或组成联合模型，不应一概理解成互不相干的旧式流水线。明确任务、受约束输出和吞吐要求下，这一路线仍有价值。 **第二类：专门面向文档的视觉语言模型。**模型为文档转写训练或微调，直接输出整页 Markdown、HTML、公式标记或结构数据。阅读顺序、标题层级与表格关系在生成中恢复，优点是共享语境，风险是长输出累积误差与空间映射不足。 **第三类：混合工作流。**先用显式布局分析得到有类型的区域，再由生成式识别器解析，最后装配文档。MinerU、MonkeyOCR、PaddleOCR-VL、GLM-OCR 等是原文讨论对象。布局和识别可以用独立模型，也可以共享模型；“多阶段”不意味着一定需要多套权重。 区域化可缩短输出、定位错误并控制预算，但漏掉区域或裁剪不准时，后续装配通常无法凭空找回。模块化专用系统与混合工作流虽都可称流水线，内容产生机制却不同。 **第四类：通用视觉语言模型。**OCR只是广泛视觉与语言能力之一，转写主要通过提示调用。它们适合灵活任务，但输出规范、训练中文档比例和成本未必适合固定批处理。相同“端到端”标签不能抹去通用理解与专门转写目标的差异。 **第五类：商业产品与托管服务。**此类强调接口、输出模式、集成与运行可靠性；内部可能采用上述多种路线。因公开信息不足，作者将其单列，不能把商业交付方式误当作一种独立神经架构。

3.3 数据与训练流程

图3：不同系统家族的数据来源与训练流程。左侧对比局部任务样本、页面及区域标注、广泛多模态数据；右侧展示组件监督、文档预训练与微调、区域模型训练和通用模型训练。来源：原文图6，第9页。 第一类主要使用文字行、场景字、布局框、表格与公式等专用标注，以检测损失、时序分类或标记交叉熵训练。第二类通常先进行文档图文对齐，再做任务微调，部分加入可验证奖励强化学习，检查文字存在与缺失、表格结构、公式语法和异常重复。 第三类既需要布局监督，也需要区域转写目标，可以分别训练或共享视觉语言模型。第四类则经过视觉对齐、图文联合预训练、指令微调和可选后训练，其数据中文档占比通常不公开，难以单凭模型总规模解释OCR收益。 原文列举两个有针对性的报告结果：固定1.2B架构下，MinerU2.5-Pro 通过困难样本微调将 OmniDocBench v1.6 的表格TEDS从90.37提高到92.87；MonkeyOCRv2 在指定448像素长边设置中加入像素重建预训练，将打乱文字的流水线识别准确率从55.4%提高到72.1%。它们说明数据与训练目标具有影响，但不能跨设置推导出通用架构优劣。

3.4 当前局限

**幻觉与遗漏。**分辨率不足、压缩、陌生布局和长序列解码可能让语言先验压过视觉证据，产生虚构文字、额外表行、丢失列或错误标题。区域拆分、数据核验与可执行奖励可以缓解，却不是完整保证。原文引用的 olmOCR2 案例中，数据加载错误漏掉空白页，导致空白输入幻觉；修复后常规基准分数却未变化，显示评测也可能漏测关键错误。 **空间定位与结构关系。**输出元素需要能关联到源图区域，才便于核验和重建层级与顺序。普通 Markdown、HTML 或公式序列通常不保留这种对应；坐标量化与编码器细节又限制定位精度。语法有效的输出，不等于结构与图像一致。 **推理成本。**高分辨率带来更多视觉标记，长结构输出带来逐标记解码延迟。多标记预测、区域并行和共享特征可减少串行步骤，但布局、调度、验证和装配也有开销，不能只报告核心识别器速度。 **多语言与多页。**变音符号、跨书写系统混淆、从右向左顺序，以及跨页段落、表格续接和全局标题层级，都会暴露单页英文设置不易测出的弱点。多页问答找到证据，不等于整篇文档已完整重建。

4 文字识别评估基准的演进（Evolution of OCR Benchmarks）

4.1 基准如何演进

图4：评估对象从字符走向整页与多页文档。五阶段分别为受控文字识别、场景文字、文档结构组件、下游文档理解及基础模型时代评估；最后又分能力诊断与页面重建两条轨道。来源：原文图7，第11页。 第一阶段以 MNIST、IAM、CASIA-HWDB 等评测已定位字符、词和行。第二阶段加入自然场景中的检测与端到端识别，判断单位主要还是词或区域。 第三阶段逐个测量结构组件：表格的HTML与单元格关系、公式的符号结构或标记、布局区域的检测分类。不同组件使用不同输出契约与指标，单项高分不能直接相加成整页成功。 第四阶段转向 DocVQA、ChartQA、DUDE 等文档问答及字段抽取。它们推动模型理解，但按答案正确性评估，并不要求逐项恢复所有可见信息。 第五阶段形成两条并行路线：OCRBench 等诊断视觉语言模型的识别、定位与理解能力；OmniDocBench、Real5-OmniDocBench、MDPBench、MPDocBench-Parse 等评估整页或多页转写。各阶段并存，不能把最新基准视为所有旧能力的替代品。

4.2 基准揭示了什么

4.2.1 定量性能趋势

原文汇总的场景文字结果显示，多数常用设置在深度学习时代已经取得较大进步，后续增幅趋小。例如在其所列MJ+ST训练设置下，IIIT5K识别准确率由CRNN的82.9%到SVTRv2的97.7%。这一结论限于对应数据和协议，不意味着困难字体、长文字及真实文档已解决。 组件分数也必须核对测试划分。原文明确指出，PubTabNet上88.3与96.3的TEDS结果来自不同测试集，不能直接计算为方法进步量；裁剪表格或公式的分数，也不能代替整页关系恢复。

图5：整页文档解析的公开结果快照。原文表6选取截至2026年10月的 OmniDocBench v1.6 full 结果；文本、表格、公式越高越好，阅读顺序编辑距离越低越好。来源：原论文第14页；仅保留表体，中文图注说明口径。 所列八个专门化或混合系统的Overall为93.26至96.91，文本分数差距1.75分，表格分数差距8.78分，表格仍明显区分系统。TeleOCR与OvisOCR2分列前二，分别采用区域生成与整页生成；该样本中参数更大也未必得分更高。它不能证明某一架构或参数规模在所有设置下最优。 真实采集鲁棒性同样重要。原文所列 Real5-OmniDocBench 使用同一批1355页进行扫描、弯曲、屏摄、光照和倾斜重采集。PP-StructureV3 从扫描84.68下降至倾斜37.98，所列生成系统在五条件下均高于85。这只支持相应版本、页面和协议下的比较；原生相机文档等更广泛条件仍需单独检验。

4.2.2 当前指标遗漏了什么

**输出定义可能不同。**无边框表格、对齐字段和多栏布局可能有多种合理分解；视觉等价的表格可有不同HTML表达。区域类别、标注粒度和匹配规则都影响分数，应先声明“正确输出”是什么。 **综合分难以归因。**OmniDocBench v1.6 Overall合成文本、表格与公式，而阅读顺序单独报告；相近总分可能对应不同弱项。OCRBench总分还混合识别、问答与抽取，不能把总分上升直接解释成整页转写改善。 **内容与条件覆盖不足。**图表、流程图、化学结构、乐谱等可见内容尚未被同等覆盖，多语言、跨页和真实拍摄也有空白。取几个图表数据点进行匹配，不等于测量图表完整重建。 此外，应单独统计缺失、额外内容和重复，并用视觉证据与语言先验冲突的样本检查擅自纠正。忠实性不仅是错误率，还关乎系统是否改写、遗漏或编造源内容。

5 讨论与展望（Discussion and Outlook）

原文最后提出三项相互关联的期待。 **第一，加强可核验的转写可靠性。**模型和智能体越来越依赖OCR结果，局部幻觉、漏字或结构错误会进入后续搜索、计算与行动。应把文字准确性、完整性和结构关系同时关联到源图核验，不能用流畅或格式合法代替忠实。 **第二，接受多种路线长期共存。**专用系统、统一模型与混合工作流分别适合不同精度、成本和控制要求。选型需要匹配任务分布、输出规范、定位需求与端到端预算，而不是只看“是否大模型”或“是否端到端”。同一识别器加入不同布局与装配流程后，也应作为完整系统重新测量。 **第三，让评估随重建范围扩展。**从文字到整篇结构，从单页到多页，从少数语言到更多书写系统，从干净扫描到实际相机输入，任务边界持续扩大。未来基准需要明确输出契约，报告分组件结果，并覆盖真实采集与针对性失败案例。 这篇综述的落点不是“大模型替代OCR”，而是统一模型扩大了OCR能重建的内容，也提高了对可验证输出和可靠评测的要求。OCR的长期价值仍是把视觉记录准确转为可搜索、可编辑、可处理和可复用的数字内容。 原文与资源：完整论文；摘要与版本记录；作者维护的相关工作。本文为依据原文整理的中文导读，结果口径和具体系统请以原论文及所引研究为准。