Locating and Editing Factual Associations in Mamba

我们研究了Mamba状态空间模型中事实回忆的机制。我们的工作受到自回归变换器语言模型以前的发现的启发，这些发现表明它们的知识回忆局限于特定令牌位置的特定模块；因此，我们问是否Mamba中的事实回忆也可以被类似地局部化。为了研究这一点，我们在Mamba上进行了四条实验线。首先，我们应用因果追踪或交换干预来定位Mamba内负责回忆事实的关键组件，揭示中间层中特定组件在主语的最后一个令牌处显示强烈的因果效应，而在后续层上进行干预的因果效应最明显的是在提示的最后一个令牌处，这与自回归变换器的以前发现相匹配。其次，我们展示了秩为一的模型编辑方法可以成功地插入特定位置的事实，这也类似于变压器模型的发现。第三，我们检查了Mamba对事实关系的表示的线性性。最后，我们采用注意力击败技术来剖析事实回忆期间的信息流。我们直接将Mamba与类似大小的变压器进行比较，并得出结论：尽管在架构方法方面存在显着差异，但在事实回忆方面，这两种架构共享许多相似之处。

本文旨在研究Mamba状态空间模型中事实回忆的机制，探究其是否存在局部化的记忆模块。同时，与自回归变换器语言模型进行比较，验证其相似性。

本文通过因果追踪、模型编辑和注意力削弱等方法，揭示了Mamba模型内在的记忆机制和局部化的特点。同时，与自回归变换器语言模型进行比较，发现两者在事实回忆方面存在相似性。

本文使用了因果追踪、模型编辑和注意力削弱等方法，揭示了Mamba模型内在的记忆机制和局部化的特点。实验结果表明，Mamba模型和自回归变换器语言模型在事实回忆方面存在相似性。同时，本文提出的方法可以被用于其他领域的研究，具有一定的泛化性。

最近的相关研究包括《Attention Is All You Need》、《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》等。