Incidental Polysemanticity

多义神经元（指激活一组不相关特征的神经元）被视为深度网络可解释性的一个重要障碍，对于人工智能的安全性也有影响。多义性的经典起源故事是数据中包含的“特征”比神经元多，因此学习执行任务会迫使网络将多个不相关的特征分配给同一个神经元，危及我们理解网络内部处理的能力。在这项工作中，我们提出了多义性的第二种非互斥起源故事。我们使用理论和实验展示了即使有足够的神经元来表示数据中的所有特征，多义性也可能会偶然发生。这种第二种类型的多义性是因为随机初始化可能会将多个特征最初分配给同一个神经元，然后训练动态会加强这种重叠。由于它的起源，我们将其称为“偶然多义性”。

论文旨在解决深度神经网络中的多义性问题，即多个不相关的特征被分配到同一个神经元上，从而影响我们理解网络的内部处理过程。此外，论文还试图证明多义性的另一种可能性，即即使有足够的神经元来表示数据中的所有特征，随机初始化也可能导致多个特征最初被分配到同一个神经元上，然后训练动态会加强这种重叠，导致所谓的“偶然多义性”问题。

论文提出了“偶然多义性”的概念，即随机初始化可能会导致多个不相关的特征最初被分配到同一个神经元上，然后训练动态会加强这种重叠，从而导致多义性问题。这种多义性不是由于数据中特征数量多于神经元数量导致的。

论文通过理论和实验证明了“偶然多义性”现象的存在，并提出了一种新的解释多义性的可能性。实验使用了MNIST和CIFAR-10数据集，并开源了代码。该研究为深度神经网络的可解释性和AI安全性提供了新的思路。

在深度神经网络的可解释性和AI安全性方面，还有许多相关研究。例如，Doshi-Velez和Kim等人也研究了多义性问题。另外，与神经网络的随机初始化相关的研究也很多，例如Glorot和Bengio的工作。