Weight-based Decomposition: A Case for Bilinear MLPs

Gated Linear Units (GLUs)已成为现代基础模型中常见的构建块。双线性层在“门”中去除了非线性，但仍具有与其他GLUs相当的性能。双线性层的一大优点是，它们可以完全用一个三阶张量和线性运算来表示。利用这一点，我们开发了一种方法，将双线性张量分解为一组稀疏交互的特征向量，在浅层图像分类器（MNIST）和小型语言模型（Tiny Stories）的初步实验中展现出有前途的可解释性特性。由于分解完全等效于模型的原始计算，双线性层可能是一种可解释性友好的架构，有助于将特征与模型权重相连接。我们的方法的应用可能不仅限于预训练的双线性模型，因为我们发现语言模型（如TinyLlama-1.1B）可以微调为双线性变体。

论文旨在探讨基于张量分解的双线性神经网络的可解释性，以及如何将语言模型转化为双线性变体。

论文提出了一种基于张量分解的方法来解释双线性神经网络的可解释性，并将语言模型转化为双线性变体。

论文的亮点在于提出了一种新的可解释的神经网络架构，并且使用MNIST和Tiny Stories数据集进行了实验。论文还提供了开源代码。

最近在这个领域中，也有一些关于神经网络的可解释性的研究，如《Visualizing and Understanding Convolutional Networks》和《Interpretable Machine Learning: A Guide for Making Black Box Models Explainable》。