Game-MUG: Multimodal Oriented Game Situation Understanding and Commentary Generation Dataset

电子竞技的动态性使得普通观众相对来说比较复杂。电子竞技广播需要游戏专家解说员，但仅有解说员的游戏评论并不能完全理解游戏情况。通过包含多样化的多模态电子竞技信息，包括观众的话语/情感、游戏音频和游戏比赛事件信息，可以使其更加丰富。本文介绍了GAME-MUG，一种新的多模态游戏情况理解和观众参与评论生成数据集及其强大的基线。我们的数据集是从YouTube和Twitch的2020-2022年LOL游戏直播中收集的，包括多模态电子竞技游戏信息，包括文本、音频和时间序列事件日志，用于检测游戏情况。此外，我们还提出了一个新的观众会话增强评论数据集，涵盖了游戏情况和观众会话理解，并引入了一个强大的联合多模态双学习模型作为基线。我们检验了该模型的游戏情况/事件理解能力和评论生成能力，以展示多模态方面覆盖和联合集成学习方法的有效性。

本论文旨在解决电子竞技比赛实况直播中观众难以理解游戏情况的问题，提出了一种多模态游戏情况理解和观众参与的评论生成数据集以及强大的基线模型。

本文提出了GAME-MUG数据集和一种基于多模态双重学习的评论生成模型，通过整合多种游戏信息和观众对话情感等信息，实现了更丰富的游戏情况理解和评论生成。

本文提出的GAME-MUG数据集包含了2020-2022年LOL游戏直播的多模态游戏信息，包括文本、音频和时间序列事件日志，同时还提出了一个观众对话增强的评论数据集。作者设计了实验来验证多模态双重学习模型的游戏情况和事件理解能力以及评论生成能力，并展示了该模型的有效性。

在这个领域中，已经有一些相关研究，例如：《Multimodal Emotion Recognition in the Wild Challenge》、《Multi-Modal Emotion Recognition and Sentiment Analysis (MERSA) Challenge》等。