XMeCap: Meme Caption Generation with Sub-Image Adaptability

幽默是根植于社会意义和文化细节的，对机器来说是一个独特的挑战。虽然在自然语言处理方面已经取得了进展，但现实生活中的幽默往往在多模态环境中蓬勃发展，主要体现在“meme”中。本文重点探讨了多图像对“meme”字幕的影响。接下来，我们介绍了\textsc{XMeCap}框架，这是一种采用监督微调和基于创新奖励模型的强化学习的新方法，该模型考虑了视觉和文本之间的全局和局部相似性。我们的结果与当代模型进行了基准测试，表明在单图像和多图像meme以及不同的meme类别的字幕生成方面，\textsc{XMeCap}取得了显著的改进。对于单图像meme，\textsc{XMeCap}的平均评估分数为75.85，对于多图像meme，平均评估分数为66.32，分别比最佳基线模型高3.71\%和4.82\%。本研究不仅在“meme”相关研究中建立了新的前沿，而且强调了机器在多模态环境中理解和生成幽默的潜力。

论文旨在解决如何在多模态环境下生成有趣的meme标题的问题，包括单张和多张图片的meme。

论文提出了一种新的框架，名为 extsc{XMeCap}，它采用了监督微调和基于创新奖励模型的强化学习，考虑了视觉和文本之间的全局和局部相似性，并在单张和多张图片的meme中实现了显着的标注改进。

实验结果表明， extsc{XMeCap}在单张和多张图片的meme中的平均评估分别为75.85和66.32，比最佳基线分别提高了3.71％和4.82％。此外，论文还介绍了多模态环境下幽默生成的挑战和机器理解幽默的潜力。

最近的相关研究包括：1.《Meme Captioning via Multi-Modal Memory Networks》；2.《Generating Descriptions for Memes Using Semantic and Hierarchical Embedding》；3.《Meme Generator: A Stochastic Approach to Generating Memes》等。