EmoVIT: Revolutionizing Emotion Insights with Visual Instruction Tuning

本文介绍了一种新的学习范式——视觉指令微调，其通过使用任务特定的指令来微调预训练的语言模型。该范式在各种自然语言处理任务中展示了有前途的零-shot结果，但在视觉情感理解方面仍未得到探索。本文旨在提高模型在理解和遵守与情感相关的指令方面的熟练程度。首先，我们确定了对于视觉情感识别至关重要的关键视觉线索。随后，我们引入了一种新颖的GPT辅助管道，用于生成情感视觉指令数据，有效解决了该领域注释指令数据的稀缺性问题。在InstructBLIP奠定的基础上，我们提出了EmoVIT架构，该架构包括情感特定的指令数据，利用大型语言模型的强大能力来提高性能。通过广泛的实验，我们的模型展示了其在情感分类方面的熟练程度、情感推理的熟练程度以及理解幽默的能力。比较分析为LLMs时代的情感视觉指令微调提供了一个强大的基准，提供了有价值的见解，并为该领域未来的探索开辟了道路。我们的代码可在\url{https://github.com/aimmemotion/EmoVIT}上获得。

本文旨在探索视觉情感理解中的情感视觉指令调整（Emotion Visual Instruction Tuning），并提出了一种基于GPT的EmoVIT架构。该架构利用大型语言模型的强大能力，通过生成情感视觉指令数据来提高模型在情感上下文中理解和遵循指令的能力。

本文提出了一种新颖的EmoVIT架构，通过利用大型语言模型生成情感视觉指令数据来提高模型在情感上下文中的表现。

本文通过广泛的实验展示了EmoVIT架构在情感分类、情感推理和理解幽默方面的能力。此外，该模型还能够有效地处理情感视觉指令数据的稀缺性，并提供了开源代码。本文为情感视觉指令调整在LLM时代提供了一个强大的基准，为未来的探索开辟了道路。

最近在这个领域中，还有一些相关的研究。例如，InstructBLIP利用语言模型来生成自然语言指令，用于增强视觉推理的能力。另外，还有一些研究探索使用情感数据来提高视觉情感理解的性能，如AffectNet、FERPlus和EmoReact等。