Mixture of Experts Made Intrinsically Interpretable

大型语言模型中的神经元经常表现出“多重语义性”，即同时编码多个不相关概念，从而模糊了可解释性。不同于依赖事后方法，我们提出了**MoE-X**，一种混合专家（MoE）语言模型，旨在实现**内在的**可解释性。我们的方法基于以下观察：在语言模型中，激活稀疏的更宽网络更有可能捕捉到可解释的因素。然而，直接训练这种大规模稀疏网络在计算上是不可行的。MoE架构通过只为任何给定输入激活一部分专家提供了一种可扩展的替代方案，这与可解释性目标自然契合。在MoE-X中，我们通过将MoE层重写为等效的稀疏、大型MLP来建立这种联系。这种方法使得隐藏层大小可以高效扩展，同时保持稀疏性。为了进一步增强可解释性，我们在每个专家内部强制稀疏激活，并重新设计路由机制以优先选择激活最稀疏的专家。这些设计确保只有最显著的特征被路由和处理。我们在国际象棋和自然语言任务上评估了MoE-X，结果显示它在性能上与密集模型相当，同时显著提高了可解释性。MoE-X的困惑度优于GPT-2，其可解释性甚至超过了基于稀疏自编码器（SAE）的方法。

论文试图解决大语言模型中神经元多义性（polysemanticity）的问题，即单个神经元同时编码多个不相关概念，导致模型难以解释。为了解决这一问题，作者提出了一种新的Mixture-of-Experts (MoE) 架构，旨在通过内在设计提高模型的可解释性。这确实是一个新问题，特别是在大规模语言模型的背景下，如何在不影响性能的前提下提升模型的可解释性。

关键思路是通过重新设计MoE架构来实现内在的可解释性。具体来说，作者将MoE层重新定义为等效的稀疏大型MLP，从而能够在保持稀疏激活的同时扩展隐藏层的大小。此外，作者还引入了稀疏激活机制和改进的路由机制，确保只有最显著的特征被专家处理。相比当前研究，MoE-X不仅提升了模型的性能，还在可解释性方面超越了现有的方法，如稀疏自编码器（SAE）。

论文的亮点包括：1) 在棋类和自然语言任务上的实验表明，MoE-X的性能与密集模型相当，且可解释性显著提高；2) MoE-X的困惑度优于GPT-2，甚至在可解释性上超过了SAE方法；3) 作者提供了详细的实验设计，使用了公开的数据集，并开源了代码，方便后续研究者复现和改进；4) 论文提出的设计理念为未来的研究提供了新的方向，特别是如何进一步优化稀疏激活和路由机制以增强模型的可解释性。

最近在这个领域中，相关的研究包括：1) 稀疏自编码器（Sparse Autoencoders, SAE），用于提高模型的可解释性；2) 神经网络剪枝技术，通过减少冗余参数来提高模型的效率和可解释性；3) 解释性AI（Explainable AI, XAI）领域的研究，如LIME和SHAP等工具，用于解释黑盒模型的行为；4) 其他MoE架构的研究，如Google的Switch Transformer，探索了更大规模的稀疏模型。相关研究的论文标题包括《Sparse Autoencoder-Based Interpretability in Neural Networks》、《Neural Network Pruning for Improved Efficiency and Explainability》、《Explaining Black Box Models with LIME and SHAP》、《Scaling Sparse Models with Mixture of Experts: Switch Transformer》。