Notes on Applicability of GPT-4 to Document Understanding

我们对所有公开可用的GPT-4家族模型进行了缺失、可重复的评估，涉及文档理解领域，在这个领域中，除了文本语义，还经常需要理解文本的空间排列和视觉线索。基准测试结果表明，虽然仅使用文本模型很难达到令人满意的结果，但当输入文本由外部OCR引擎识别并提供文档图像时，GPT-4 Vision Turbo表现良好。评估后进行了分析，表明文本GPT-4模型可能存在污染，并且对于长文档的性能会显著下降。

对公开可用的GPT-4家族模型进行缺失、可重复的评估，探讨其在文档理解领域的表现

GPT-4 Vision Turbo模型在输入外部OCR引擎识别的文本和文档图像的情况下表现良好，而仅使用文本的模型难以取得令人满意的结果。论文还指出可能存在文本GPT-4模型的污染问题，并且在处理长文档时表现显著下降。

论文使用了公开可用的GPT-4家族模型，并提出了新颖的方案来解决文档理解领域的问题。实验结果表明，GPT-4 Vision Turbo模型在输入文本和文档图像的情况下表现良好。论文还指出了可能存在的模型污染问题，并且发现在处理长文档时模型表现下降。

最近在文档理解领域中的相关研究包括：《BERT for Document Classification: Is It as Good as We Thought?》、《LayoutLM: Pre-training of Text and Layout for Document Image Understanding》等。