Noise-Free Explanation for Driving Action Prediction

虽然注意力机制在各种人工智能领域的Transformer架构中取得了相当大的进展，但它们的内部工作仍有待探索。现有的可解释方法有不同的重点，但都比较片面。它们主要分析注意力机制或基于梯度的归因，而忽视了输入特征值的大小或跳跃连接模块。此外，它们不可避免地会带来与模型决策无关的虚假噪声像素归因，阻碍人类对发现的可视化结果的信任。因此，我们提出了一种易于实现但有效的方法来纠正这个缺陷：平滑噪声规范化注意力（SNNA）。我们通过转换值向量的规范来加权注意力，并用注意力梯度引导标签特定信号，然后随机采样输入扰动并平均相应的梯度以产生无噪声的归因。与以前的作品中在二进制或多类分类任务上评估解释方法不同，我们在这项工作中探索了更复杂的多标签分类场景，即驾驶行为预测任务，并专门为其训练了一个模型。定性和定量评估结果都表明，与其他SOTA基于注意力的可解释方法相比，SNNA在生成更清晰的视觉解释图和排列输入像素重要性方面具有优越性。

论文旨在解决注意力机制在解释模型决策时存在的一些问题，如噪声和不可解释性等。同时，论文还探索了在多标签分类任务中使用该方法的效果。

论文提出了一种新的注意力机制解释方法：Smooth Noise Norm Attention (SNNA)，该方法结合了注意力权重、输入特征值大小和梯度信息，通过随机采样和平均化来消除噪声，生成更清晰的可解释性结果。

论文的实验结果表明，SNNA方法在多标签分类任务中的表现优于其他现有的注意力机制解释方法。论文还提供了开源代码和使用的数据集，为后续的研究提供了便利。

近期的相关研究包括：'Attention is not Explanation'，'Grad-CAM: Visual Explanations from Deep Networks via Gradient-based Localization'，'Interpretable Convolutional Neural Networks'等。