【论文标题】Transformer Interpretability Beyond Attention Visualization 【作者团队】Hila Chefer，Shir Gur，Lior Wolf 【发表时间】2020/12/17 【论文链接】https://arxiv.org/pdf/2012.09838.pdf 【代码链接】https://github.com/hila-chefer/Transformer-Explainability.

【推荐理由】 本文来自以色列特拉维夫大学与 Facebook AI 研究院，作者针对当下大火的视觉 Transformer 模型，基于深度泰勒分解原理提出了一种先进的模型解释方法，可视化结果相较于现有方法有显著提升。

以 Transformer 为代表的自注意力技术在文本处理领域逐渐占据了主导地位，并逐渐在计算机视觉分类任务中流行起来。为了将导致模型给出分类结果的图像中的部分可视化出来，研究者们研发了一些基于获取注意力映射的方法，或者在注意力图上采用启发式传播。

在本文中，作者提出了一种新的方法为 Transformer 网络计算相关性。该方法基于深度泰勒分解原理赋予图像各部分局部的相关性，然后将这些相关性得分逐层传递。这种相关性的传递会涉及到注意力层和跳跃链接，这对现有的方法是一种挑战。本文提出的解决方案可以保持各层之间的整体相关性。

图 1：可视化效果示意图

为了验证方法的有效性，作者在一些近期发布的视觉 Transformer 网络以及一个文本分类问题上进行了对比实验。实验结果表明，本文提出的方法相较于现有的解释方法有很大的提升。

内容中包含的图片若涉及版权问题，请及时与我们联系删除