Multi-layer Learnable Attention Mask for Multimodal Tasks

虽然Transformer模型中的自注意机制在许多领域中已被证明是有效的，但我们观察到，由于每个标记的粒度不同和长序列的高计算需求，它在更多元化的环境中（例如多模态）的效果较差。为了解决这些挑战，我们引入了可学习的注意力掩码（LAM），它被精心设计用于全局调节注意力图并优先处理序列中的关键标记。借助BERT-like变压器网络中的自注意模块，我们的方法熟练地捕捉标记之间的关联。将LAM扩展到多层版本，以适应Transformer网络每层嵌入的各种信息方面的变化。在各种数据集（如MADv2、QVHighlights、ImageNet 1K和MSRVTT）上进行全面的实验验证，证明了LAM的有效性，展示了它在提高模型性能的同时减少冗余计算方面的能力。这种开创性的方法在增强对复杂场景的理解方面，例如在电影理解方面，具有重大的进展。

论文旨在解决Transformer模型中Self-Attention机制在多模态环境下的应用效果较差以及计算量大的问题。

论文提出了可学习的注意力掩码（LAM）的概念，用于全局调节注意力图并优先考虑关键的token，从而增强模型的性能。

论文在多个数据集上进行了全面的实验验证，证明了LAM的有效性和能够提升模型性能的能力。此外，LAM还能减少冗余计算。论文的方法为增强模型理解复杂场景，如电影理解，提供了重要的进展。

在这个领域中，最近的相关研究包括：'Attention is All You Need'，'VisualBERT: A Simple and Performant Baseline for Vision and Language'，'Unicoder-VL: A Universal Encoder for Vision and Language by Cross-modal Pre-training'等。