CausalChaos! Dataset for Comprehensive Causal Action Question Answering Over Longer Causal Chains Grounded in Dynamic Visual Scenes

因果视频问答（QA）已经引起了越来越多的关注，但现有的数据集在因果推理分析方面缺乏深度。为了填补这一空白，我们利用卡通的独特属性构建了CausalChaos！这是一个新颖而具有挑战性的因果Why-QA数据集，建立在标志性的“汤姆和杰瑞”卡通系列之上。通过深思熟虑的问题和多层次的答案，我们的数据集包含了更长的因果链，嵌入了动态交互和视觉效果，同时动画原理允许动画师创建明确定义、明确的因果关系。这些因素使模型能够解决更具挑战性但明确定义的因果关系。我们还引入了硬负采样，包括CausalConfusion版本。虽然模型表现良好，但在开放式答案方面仍有很大的改进空间。我们确定更高级/显式的因果关系建模和视觉和语言的联合建模是未来努力的重点领域。除了其他补充数据集，我们的新的具有挑战性的数据集将为该领域的这些发展铺平道路。我们将发布我们的数据集、代码和模型，以帮助未来在这个领域的努力。

本论文旨在解决现有数据集在因果推理分析方面不够深入的问题，提出了一个基于卡通片《猫和老鼠》的因果问答数据集CausalChaos!，并探讨了如何通过更高级和明确的因果关系建模以及联合视觉和语言建模等方面进行未来的改进。

本论文的关键思路是通过利用卡通片的独特属性构建一个更具挑战性的因果问答数据集，并采用硬负样本挖掘等方法来提高模型的性能。

论文提出的CausalChaos!数据集包含更长的因果链和动态交互，同时动画原理允许动画师创建明确的因果关系；论文还介绍了硬负样本挖掘方法，实验结果表明模型的性能还有很大提升空间，尤其是在开放式答案方面；论文将发布数据集、代码和模型，以帮助未来在这一领域的研究。

与本论文相关的研究包括因果推理分析领域的其他数据集，如CausalNex和YouCookII等，以及关于联合视觉和语言建模的研究，如VisualBERT和ViLBERT等。