Detecting Conceptual Abstraction in LLMs

我们提出了一种新颖的方法来检测大型语言模型（LLM）中的名词抽象。从心理学上激发的具有分类关系的名词对集合开始，我们实例化表面模式，指示上位词，并分析BERT生成的注意力矩阵。我们将结果与两组反事实进行比较，并表明我们可以检测抽象机制中的上位词，这不能仅与名词对的分布相似性有关。我们的发现是迈向LLM中概念抽象可解释性的第一步。

论文旨在探究大型语言模型（LLM）中名词抽象的检测方法。具体而言，论文试图验证LLM中的抽象机制是否与名词对的分布相似度有关。

论文通过一组心理学上有启发性的名词对，构建表明上义词关系的表面模式，并分析BERT产生的注意力矩阵，以检测名词抽象。通过与两组反事实情况进行比较，论文表明可以检测到抽象机制中的上义词关系，而这不能仅仅与名词对的分布相似度有关。

论文的亮点在于提出了一种新的方法来解释LLM中的概念抽象，从而增强了模型的可解释性。实验使用了心理学上有启发性的名词对，并进行了对比实验以验证方法的有效性。论文还提出了一些值得深入研究的问题，例如如何扩展这种方法以检测其他类型的语义关系。

近年来，有一些相关研究探讨了LLM中的概念抽象问题，例如《Analyzing Multi-Head Self-Attention: Specialized Heads Do the Heavy Lifting, the Rest Can Be Pruned》和《What Does BERT Look at? An Analysis of BERT's Attention》。