Navigate Beyond Shortcuts: Debiased Learning through the Lens of Neural Collapse

最近的研究发现了一种有趣的现象，被称为神经崩溃，即当神经网络在特征空间和训练目标之间建立正确的相关性时，它们的最后一层特征和分类器权重将会坍塌成一个稳定和对称的结构。在本文中，我们将神经崩溃的研究扩展到具有不平衡属性的有偏数据集上。我们观察到，模型很容易陷入捷径学习的陷阱，并在训练的早期形成一个有偏、非坍塌的特征空间，这很难逆转并限制了泛化能力。为了解决有偏分类的根本原因，我们遵循最近的主训练启发，提出了一个避免捷径学习的框架，没有额外的训练复杂度。通过基于神经崩溃结构的设计良好的捷径素数，鼓励模型跳过简单的捷径追求，自然地捕捉内在的相关性。实验结果表明，我们的方法在训练期间引入了更好的收敛性质，并在合成和真实世界的有偏数据集上实现了最先进的泛化性能。

解决问题：论文试图解决在偏斜数据集中避免分类器出现偏差的问题，提高模型的泛化能力。这是一个新问题。

关键思路：通过避免模型寻找简单的shortcut，利用神经崩溃结构设计shortcut primes，使模型自然捕捉内在相关性，从而提高泛化能力。

亮点：论文的方法在合成和真实偏斜数据集上都取得了最先进的泛化性能。实验结果表明，该方法在训练过程中具有更好的收敛性能。

相关研究：最近的相关研究包括“Shortcut Learning in Deep Neural Networks”和“Prime Training for Convolutional Neural Networks”。