论文地址：https://arxiv.org/abs/2108.09661

本文简要介绍ICCV2021 录用论文 From Two to One: A New Scene Text Recognizer with Visual Language Modeling Network。有别于以往的分步两阶段工作需要先进行视觉预测再利用语言模型纠正的策略，该工作提出了视觉语言网络 Vision-LAN，直接赋予视觉模型语言能力，将视觉和语言模型当作一个整体。由于语言信息是和视觉特征一同获取的，不需要额外的语言模型，Vision-LAN显著提高39%的前向速度，并且能够自适应考虑语言信息来增强视觉特征，进而达到更高的识别准确率。 

如上图所示，Vision-LAN模型包括三部分，特征提取网络，掩码语言感知模块（Masked Language Aware Module）和视觉推理模块（Visual Reasoning Module）。训练阶段，通过特征提取网络得到视觉特征，接着MLM模块输入视觉特征以及字符索引，通过弱监督的方法在对应字符索引的位置生成掩码Mask。该模块主要用来模拟视觉信息字符遮挡的情况。VRM模块输入带遮挡的文本图片，通过在视觉空间捕获长距离的信息，预测对应的文本行识别内容。在测试阶段，移除MLM模块，只使用VRM模块用于文本识别。由于无需额外的语言模型即可获取语言信息和视觉特征，Vision-LAN 可以零计算成本即获得语言信息。

相比于之前的语言模型，VisionLAN在保持高效的同时展现出更强的语言能力。此外，提出了一个新的遮挡场景文本数据集，评估在缺少字符视觉线索的情况下的性能。对七个基准数据集以及 OST 数据集进行大量实验，证明了方法的有效性和效率。 

内容中包含的图片若涉及版权问题，请及时与我们联系删除