What Causes Polysemanticity? An Alternative Origin Story of Mixed Selectivity from Incidental Causes

多义神经元——激活一组不相关特征的神经元——被视为解释任务优化深度网络的显著障碍，这对于AI安全具有影响。多义性的经典起源故事是数据包含的“特征”比神经元多，因此学习执行任务迫使网络将多个不相关特征共同分配给同一个神经元，危及我们理解网络内部处理的能力。在这项工作中，我们提出了多义性的第二个非互斥起源故事。我们展示了即使有足够的神经元来表示数据中的所有特征，也可能会偶然地出现多义性，这种现象我们称之为“偶然多义性”。通过理论和实验的结合，我们展示了偶然多义性可能由多种原因引起，包括正则化和神经噪声。这种偶然多义性是由于随机初始化可以仅仅因为机会，最初将多个特征分配给同一个神经元，然后训练动态加强了这种重叠。我们的论文通过呼吁进一步研究量化任务优化深度神经网络的性能-多义性权衡来结束，以更好地理解多义性在多大程度上是可以避免的。

本文试图解决深度神经网络中的多语义性问题，提出了一种新的多语义性产生方式并探讨了其对深度神经网络可解释性和AI安全性的影响。

本文提出了一种非常规的多语义性产生方式——偶然多语义性，即即使有足够的神经元来表示数据中的所有特征，随机初始化也可能会将多个特征分配给同一个神经元，进而导致训练过程中强化这种重叠。作者通过理论和实验探讨了这种现象，并呼吁进一步研究性能-多语义性的权衡以更好地理解多语义性是否是可避免的。

本文的实验结果表明，偶然多语义性对深度神经网络的表现和可解释性有着重要的影响。作者提出的偶然多语义性产生方式是一种新的思路，并且呼吁进一步研究深度神经网络的多语义性问题。

与本文相关的研究包括《On the Interpretability of Artificial Intelligence in Radiology: Challenges and Opportunities》、《Towards Safe Reinforcement Learning via Human Intervention: An Overview》等。