Meta AI 推出了一个 OCR 神器Nougat。Nougat 基于 Transformer 模型构建而成，可以轻松的将 PDF 文档转换为 MultiMarkdown，扫描版的 PDF 也能转换，让人头疼的数学公式也不在话下。

Nougat 不但可以识别文本中出现的简单公式，还能较为准确地转换复杂的数学公式。公式中出现的上标、下标等各种数学格式也分的清清楚楚，还能识别表格，不过Nougat 生成的文档中不包含图片。

 

方法概述

 

本文架构是一个编码器 - 解码器 Transformer 架构，允许端到端的训练，并以 Donut 架构为基础。该模型不需要任何 OCR 相关输入或模块，文本由网络隐式识别。该方法的概述见下图 1。

 

该研究用到了 2 个 Swin Transformer ，一个参数量为 350M，可处理的序列长度为 4096，另一参数量为 250M，序列长度为 3584。在推理过程中，使用贪婪解码生成文本。

 

Meta 表示，Nougat 在配备 NVIDIA A10G 显卡和 24GB VRAM 机器上可并行处理 6 个页面，生成速度在很大程度上取决于给定页面上的文本量。在不进行任何推理优化的情况下，基础模型每批次平均生成时间为 19.5s（token 数≈1400），与经典方法（GROBID 10.6 PDF/s ）相比速度还是非常慢的，但 Nougat 可以正确解析数学表达式。

 

内容中包含的图片若涉及版权问题，请及时与我们联系删除