MM-Soc: Benchmarking Multimodal Large Language Models in Social Media Platforms

社交媒体平台是多模态信息交流的中心，包括文本、图片和视频，这使得机器难以理解在线空间中交互所涉及的信息或情感。多模态大语言模型（MLLMs）已成为解决这些挑战的有希望的解决方案，但在解释人类情感和复杂内容（如错误信息）方面仍存在困难。本文介绍了MM-Soc，这是一个全面的基准，旨在评估MLLMs对多模态社交媒体内容的理解能力。MM-Soc汇编了著名的多模态数据集，并包括一个新颖的大规模YouTube标记数据集，针对从错误信息检测、仇恨言论检测到社交上下文生成的一系列任务。通过对四个开源MLLMs的十种大小变体进行详尽的评估，我们发现了显著的性能差异，突显了模型社交理解能力的改进需求。我们的分析表明，在零-shot设置下，各种类型的MLLMs通常在处理社交媒体任务时存在困难。然而，MLLMs在微调后表现出性能改进，这表明了改进的潜在途径。

本论文旨在解决机器理解社交媒体内容的挑战，尤其是对情感和复杂内容（如虚假信息）的理解。

引入MM-Soc基准测试来评估多模态大型语言模型（MLLMs）对社交媒体内容的理解能力，包括虚假信息检测、仇恨言论检测和社交背景生成等任务。通过对四个开源MLLMs的十个不同大小版本进行全面评估，发现它们在社交媒体任务中的表现存在显著差异，需要提高模型的社交理解能力。

论文使用了多个数据集，其中包括一个新的大规模YouTube标记数据集。实验结果表明，MLLMs在零样本情况下通常难以处理社交媒体任务，但在微调后表现出了性能提升。

在相关研究方面，最近的工作包括使用MLLMs来理解社交媒体中的情感和虚假信息，例如Bert-Multi, ERNIE-M, RoBERTa-M等。