Correspondence of high-dimensional emotion structures elicited by video clips between humans and Multimodal LLMs

最近的研究表明，人类情绪呈现出一种高维度且复杂的结构。要全面捕捉这种复杂性，需要新的方法，因为传统的模型如果忽略高维度特性，可能会遗漏人类情绪中的关键细节。在本研究中，我们考察了最新一代快速演进的多模态大语言模型（MLLMs）对这些高维度、复杂情绪结构的捕捉能力及其局限性。具体而言，我们将参与者观看视频时自我报告的情绪评分与模型生成的估计值（例如Gemini或GPT）进行了比较。我们不仅评估了单个视频层面的表现，还评估了能够反映视频间关系的情绪结构层面的表现。在简单相关分析层面，我们的结果表明，人类和模型推断出的情绪结构之间存在强烈的相似性。为进一步探究人类与模型之间的相似性是体现在单项水平还是粗分类水平上，我们应用了Gromov Wasserstein最优传输方法。我们发现，尽管在严格的单项水平上表现不一定很高，但在引发类似情绪的视频类别层面，模型的表现相当显著，这表明模型能够在类别层面上推断人类的情绪体验。我们的研究结果表明，当前最先进的MLLMs能够在类别层面上广泛捕捉复杂高维度的情绪结构，但在单项水平上准确捕捉整个结构方面仍存在一定局限性。

论文试图解决的问题是如何评估最新的多模态大语言模型（MLLMs）对人类复杂高维情感结构的捕捉能力。这是一个相对较新的问题，因为随着AI技术的发展，研究开始关注模型是否能够理解并生成与人类情感相似的复杂结构。

论文的关键思路是通过比较人类自报的情感评分与模型预测的情感评分，评估MLLMs在单个视频和跨视频情感结构上的表现。此外，使用Gromov Wasserstein Optimal Transport方法进一步分析模型在单项目水平和类别水平上的表现差异。相比现有研究，这篇论文首次系统性地探讨了MLLMs在高维情感结构中的表现，并揭示了其在类别层面的有效性和单项目层面的局限性。

论文设计了多层次的实验框架，包括简单相关性分析和高级的Gromov Wasserstein Optimal Transport方法，以全面评估模型性能。实验数据来源于人类观看视频后的情感评分，具有较高的生态效度。虽然没有提及开源代码，但研究结果为未来改进模型提供了明确方向，例如如何优化模型在单项目水平上的表现。值得深入研究的方向包括增强模型对细微情感差异的学习能力以及探索更多模态数据（如音频、文本等）对情感理解的影响。

最近的相关研究包括：1) 'Evaluating Affective Understanding in Large Language Models'，探讨了LLMs在情感理解方面的基础能力；2) 'High-Dimensional Emotion Representation in Neural Networks'，研究神经网络对高维情感空间的建模；3) 'Multimodal Emotion Recognition: A Survey'，综述了多模态情感识别领域的进展；4) 'Optimal Transport for Emotion Embedding Analysis'，提出了基于最优传输理论的情感嵌入分析方法。这些研究共同推动了AI在情感理解领域的进步。