The Pyramid of Captions

我们提出了一个正式的信息理论框架，将图像字幕生成视为一项表示学习任务。我们的框架定义了三个关键目标：任务充分性、最小冗余和人类可解释性。在此基础上，我们提出了一种新颖的金字塔字幕（PoCa）方法，通过为缩放的图像补丁生成本地化字幕并使用大型语言模型将它们与全局字幕信息集成来构建字幕金字塔。这种方法利用了局部补丁的详细检查可以降低错误风险并解决全局字幕的不准确性的直觉，无论是通过纠正幻觉还是添加缺失的细节。基于我们的理论框架，我们形式化了这种直觉，并提供了正式证明，证明了在某些假设下PoCa的有效性。使用各种图像字幕生成模型和大型语言模型进行的实证测试表明，PoCa始终产生更多信息和语义对齐的字幕，同时保持简洁和可解释性。

如何提高图像字幕生成的效果？

使用局部字幕和全局字幕相结合的方法，构建字幕金字塔，提高图像字幕的信息量和语义一致性。

提出了基于信息论的图像字幕生成框架，包括任务充分性、最小冗余性和人类可解释性三个关键目标。提出了Pyramid of Captions (PoCa)方法，利用局部字幕和全局字幕相结合的方法构建字幕金字塔，实验结果表明PoCa方法可以提高图像字幕的信息量和语义一致性。

与其他图像字幕生成方法进行了比较，如Show and Tell, Show, Attend and Tell等。