Transformer Interpretability Beyond Attention Visualization 论文链接：https://arxiv.org/abs/2012.09838 代码链接：https://github.com/hila-chefer/Transformer-Explainability 作者单位：Facebook（FAIR） 本文提出了一种计算Transformers网络相关性的新方法，其基于深度泰勒分解原理分配局部相关性，然后将其传播到各层。实验证明了相对于现有可解释性方法的明显优势，代码现已开源！

自注意力技术，特别是“Transformers”，在文本处理领域占据主导地位，并且在计算机视觉分类任务中变得越来越流行。为了可视化导致某种分类的图像部分，现有方法要么依赖于获得的注意力图，要么采用沿注意力图的启发式传播。在这项工作中，我们提出了一种计算Transformers网络相关性的新颖方法。该方法基于深度泰勒分解原理分配局部相关性，然后将这些相关性分数传播到各层。这种传播涉及注意力层和跳跃连接，这挑战了现有方法。我们的解决方案基于一种特定的方式，该方式被证明可以保持各层之间的整体相关性。我们在最近的可视化Transformer网络以及文本分类问题上对我们的方法进行了基准测试，并证明了相对于现有可解释性方法的明显优势。

内容中包含的图片若涉及版权问题，请及时与我们联系删除